En UNICEF-studie fann att minst 1,2 miljoner barn i 11 länder rapporterade att deras bilder manipulerades i ett sexuellt sammanhang av generativ AI förra året.
– Bara det faktum att det finns så många barn i dessa 11 länder visar att det här är ett stort problem, och ett som kommer att bli ett ännu större problem i framtiden om vi inte hittar alternativa lösningar snart, säger Daniel Kadefeld-Windsor, forskningschef för barn och digitala medier på UNICEF.
Han förklarar att även om bilderna inte är verkliga så handlar det om grova övergrepp.
– Så realistiskt att det är väldigt svårt att se skillnad. Skam, skuld och alla smärtsamma känslor som följer av sexuella övergrepp kommer också hit. Känslomässigt kan det ha en djupgående effekt på barn.
Bilder kan också användas för ytterligare övergrepp, som att någon hotar att sprida materialet.
– I länder där sex är ännu mer tabubelagt kan det här vara väldigt pinsamt. Daniel Kadefeldt-Windsor säger sig ha sett exempel på att barn som söker hjälp blivit utfrysta och mobbade.
Det finns flera aspekter på den här frågan, förklarar han. Till exempel kan förövaren vara en vuxen som försöker utsätta sig för sexuella övergrepp inte bara mot barn utan även andra barn. Det kan vara en klasskamrat som tar nakenbilder för att reta dig, eller bara för skojs skull.
–Men det är definitivt inte roligt för den som blir utsatt. Detta är mycket allvarligt, men vissa barn och ungdomar kanske inte nödvändigtvis inser hur allvarligt detta är.
Daniel Kadefeld-Windsor påpekar att det inte finns några enkla lösningar, men UNICEF föreslår tre åtgärder för att bekämpa problemet.
Samtidigt måste föräldrar vara medvetna om teknik och veta hur man stödjer utsatta barn. Detsamma gäller skolor och vi måste förstå vad den typen av övergrepp innebär.
– I så fall måste det finnas någon form av lag som antingen förbjuder den här typen av appar eller förbjuder användningen av AI för att skapa kränkande innehåll, säger Kadefeldt-Winter.
– och teknikindustrin måste ta ett långt större ansvar än vad den har gjort tidigare. Alla som utvecklar en AI-app eller AI-stöd för en app bör seriöst överväga potentialen för skadlig användning av sin app.
