Sinds eind december 2025 heeft X's kunstmatige intelligentie chatbot, Grok, op vele verzoeken van gebruikers om echte mensen uit te kleden gereageerd door foto's van deze mensen om te zetten in seksueel expliciet materiaal. Nadat mensen deze functie begonnen te gebruiken, kreeg het sociale platformbedrijf wereldwijde kritiek voor het mogelijk maken dat gebruikers niet-consensuele seksueel expliciete afbeeldingen van echte mensen genereren.
Het Grok-account heeft duizenden "naakt gemaakte" en seksueel suggestieve afbeeldingen per uur geplaatst. Nog verontrustender is dat Grok geseksualiseerde afbeeldingen en seksueel expliciet materiaal van minderjarigen heeft gegenereerd.
X's reactie: geef de gebruikers van het platform de schuld, niet ons. Het bedrijf publiceerde op 3 januari 2026 een verklaring waarin staat dat "Iedereen die Grok gebruikt of aanzet om illegale content te maken, dezelfde consequenties zal ondergaan alsof ze illegale content uploaden." Het is niet duidelijk welke actie, indien überhaupt, X tegen gebruikers heeft ondernomen.
Als juridisch geleerde die de kruising van recht en opkomende technologieën bestudeert, zie ik deze stroom van niet-consensuele beelden als een voorspelbaar resultaat van de combinatie van X's lakse contentmoderatiebeleid en de toegankelijkheid van krachtige generatieve AI-tools.
De snelle opkomst van generatieve AI heeft geleid tot talloze websites, apps en chatbots waarmee gebruikers seksueel expliciet materiaal kunnen produceren, inclusief "naaktmaking" van echte kinderbeelden. Maar deze apps en websites zijn niet zo algemeen bekend of gebruikt als de grote sociale mediaplatforms, zoals X.
Staatsparlementen en het Congres reageerden relatief snel. In mei 2025 heeft het Congres de Take It Down Act aangenomen, die het een misdrijf maakt om niet-consensueel seksueel expliciet materiaal van echte mensen te publiceren. De Take It Down Act criminaliseert zowel de niet-consensuele publicatie van "intieme visuele afbeeldingen" van identificeerbare personen als AI- of anderszins computergegenereerde afbeeldingen van identificeerbare personen.
Deze strafrechtelijke bepalingen zijn alleen van toepassing op individuen die de seksueel expliciete content plaatsen, niet op de platforms die de content verspreiden, zoals sociale mediawebsites.
Andere bepalingen van de Take It Down Act vereisen echter dat platforms een proces opstellen waarmee de afgebeelde personen kunnen verzoeken om verwijdering van de beelden. Zodra een "Take It Down Request" is ingediend, moet een platform de seksueel expliciete afbeelding binnen 48 uur verwijderen. Maar deze vereisten treden pas op 19 mei 2026 in werking.
Ondertussen zijn gebruikersverzoeken om de door Grok geproduceerde seksueel expliciete beelden te verwijderen blijkbaar onbeantwoord gebleven. Zelfs de moeder van een van Elon Musk's kinderen, Ashley St. Clair, heeft X niet kunnen laten bewegen om de nep-geseksualiseerde beelden van haar te verwijderen die Musk's fans met Grok hebben gemaakt. The Guardian meldt dat St. Clair zei dat haar "klachten aan X-medewerkers nergens toe leidden."
Dit verbaast me niet omdat Musk kort nadat hij het platform verwierf de Trust and Safety-adviesgroep van toenmalig Twitter heeft wegbezuinigd en 80% van de ingenieurs van het bedrijf die zich bezighielden met trust and safety heeft ontslagen. Trust and safety-teams zijn doorgaans verantwoordelijk voor contentmoderatie en initiatieven om misbruik bij techbedrijven te voorkomen.
Publiekelijk lijkt het erop dat Musk de ernst van de situatie heeft afgedaan. Musk heeft naar verluidt lach-huilemoji's geplaatst als reactie op sommige beelden, en X reageerde op een vraag van een Reuters-journalist met het automatische antwoord "Legacy Media Lies."
Civiele rechtszaken zoals die aangespannen door de ouders van Adam Raine, een tiener die in april 2025 zelfmoord pleegde na interactie met OpenAI's ChatGPT, zijn een manier om platforms verantwoordelijk te houden. Maar rechtszaken hebben in de Verenigde Staten een zware strijd te voeren gezien Section 230 van de Communications Decency Act, die sociale mediaplatforms over het algemeen immuniteit verleent tegen wettelijke aansprakelijkheid voor content die gebruikers op hun platforms plaatsen.
Rechter Clarence Thomas van het Hooggerechtshof en vele juridische geleerden hebben echter betoogd dat Section 230 te breed door rechtbanken is toegepast. Ik ben het er over het algemeen mee eens dat de immuniteit van Section 230 moet worden beperkt omdat het immuniseren van techbedrijven en hun platforms voor hun opzettelijke ontwerpkeuzes — hoe hun software is gebouwd, hoe de software werkt en wat de software produceert — buiten de reikwijdte van de bescherming van Section 230 valt.
In dit geval heeft X bewust of nalatig nagelaten om beveiligingsmaatregelen en controles in Grok in te zetten om te voorkomen dat gebruikers seksueel expliciete beelden van identificeerbare personen genereren. Zelfs als Musk en X van mening zijn dat gebruikers de mogelijkheid moeten hebben om seksueel expliciete beelden van volwassenen te genereren met Grok, geloof ik dat X in geen enkele wereld aan verantwoordelijkheid moet ontsnappen voor het bouwen van een product dat seksueel expliciet materiaal van echte kinderen genereert.
Als mensen platforms zoals X niet via civiele rechtszaken verantwoordelijk kunnen houden, dan is het aan de federale overheid om ze te onderzoeken en te reguleren. De Federal Trade Commission, het Ministerie van Justitie of het Congres zouden bijvoorbeeld X kunnen onderzoeken voor Grok's generatie van niet-consensueel seksueel expliciet materiaal. Maar met Musk's hernieuwde politieke banden met president Donald Trump verwacht ik niet snel serieuze onderzoeken en verantwoordelijkheid.
Voorlopig hebben internationale toezichthouders onderzoeken tegen X en Grok gelanceerd. Franse autoriteiten zijn onderzoeken gestart naar "de verspreiding van seksueel expliciete deepfakes" van Grok, en de Irish Council for Civil Liberties en Digital Rights Ireland hebben er sterk bij de Ierse nationale politie op aangedrongen om de "massale uitkleedpartij" te onderzoeken. Het Britse regelgevende agentschap Office of Communications zei dat het de zaak onderzoekt, en toezichthouders in de Europese Commissie, India en Maleisië onderzoeken naar verluidt ook X.
In de Verenigde Staten is het misschien de beste handelwijze tot de Take It Down Act in mei van kracht wordt, dat mensen actie eisen van gekozen functionarissen. – Rappler.com
Dit artikel verscheen oorspronkelijk op The Conversation.
Wayne Unger, Associate Professor of Law, Quinnipiac University


