In maart lanceerde Meta een nieuwe AI-chatbot voor Facebook en Instagram. De chatbot moest gebruikers helpen met accountproblemen en beschermen tegen nepaccounts. Dat liep volledig fout. Hackers konden de chatbot eenvoudig misleiden en kregen zo toegang tot prominente Instagram-accounts.
De aanpak was verrassend simpel. Hackers gebruikten een VPN om hun locatie te vervalsen. Daarmee deden ze alsof ze op de locatie van de echte accounteigenaar zaten. De chatbot liet zich daardoor overtuigen het gekoppelde e-mailadres te wijzigen. Met dat nieuwe adres omzeilden de hackers de tweestapsverificatie moeiteloos. Het lek bestond al maanden voordat Meta het ontdekte. In die tijd verkochten criminelen gestolen accounts voor slechts een paar dollar per stuk.
Zelfs Jane Wong, een voormalige onderzoeker bij Meta, werd slachtoffer. Ze ontdekte dat iemand haar wachtwoord had veranderd zonder haar medeweten. Ze kon daarna niet meer inloggen op haar eigen account. Dit incident legt een groot pijnpunt van AI-klantenservice bloot. Taalmodellen laten zich namelijk manipuleren om regels te negeren of beleid te omzeilen. Bij Meta is dit extra zorgwekkend, want het bedrijf staat al bekend om zijn slordige omgang met gebruikersdata.
Meta heeft het lek inmiddels gedicht. Toch blijft de vraag hoe groot de schade is. Dit was ook niet het enige incident. Eind maart veroorzaakte een interne AI-assistent van Meta nog een groot datalek. Deze incidenten roepen serieuze vragen op over de veiligheid van AI in gevoelige toepassingen zoals accountbeheer.
