Jag visste inte om mina föräldrar skulle märka att rösten i andra änden inte var min, eller att den var min men inte jag. Rösten sa hej, frågade hur min pappa mådde och när han inte svarade direkt frågade han igen. ”Vad är det, Gabby?” Han förstod direkt att något var fel. Jag förklarade att jag hade försökt lura honom, men det gick uppenbarligen inte. ”Det har aldrig hänt”, sa han. ”Det lät som en robot.”
Det var inte ett perfekt experiment. Eftersom mina föräldrar var utomlands var kopplingen svag. De åt lunch med vänner, och ljudet kunde inte hantera överhörningen och ljudfördröjningen, så de försökte fylla tystnaden. Och viktigast av allt, rösten lät mänsklig, men inte som jag.
Detta ljud genererades av deepfake-detektionsföretaget Reality Defender. Problemet med manipulerade medier är inte nytt, men tillkomsten av konsumentklassade AI-verktyg har gjort skapandet av falskt ljud, video och bilder i sig smidigare, och ett antal företag har tagit steget de senaste åren för att bekämpa problemet. Reality Defender, Pindrop och GetReal är en del av en snabbt växande stugindustri för deepfake-detektering, värderad till uppskattningsvis 5,5 miljarder dollar från 2023. Dessa startups använder maskininlärning för att identifiera manipulerade medier. För att bekämpa deepfakes måste vi kunna skapa deepfakes.
Termen ”deepfake” syftar på en specifik typ av manipulerad media som produceras av ”djup” inlärning, men det finns inget gemensamt som förenar alla deepfakes, annat än hur de skapas. Dessa har använts för bedrägerier, trakasserier och memes. Verktyg som Grok AI har lett till en spridning av sexuella förfalskningar utan samtycke, inklusive material för sexuella övergrepp mot barn. Bedragarna klonade människors röster och ringde sina släktingar för att berätta för dem att en lösen krävdes. Under valet 2024 arbetade politiska strateger och magiker tillsammans för att skapa en djupförfalskning av förre presidenten Joe Biden som användes för att avskräcka registrerade demokrater i New Hampshire från att rösta i delstatens primärval. Ordföranden för senatens utrikesutskott svarade på ett Zoom-samtal från någon som använder AI för att posera som en ukrainsk tjänsteman. På företagsnivå har deepfake-bedrägeri nu blivit ”industriellt”, enligt en studie.
Deepfake-detektionsindustrin existerar främst för att ta itu med ett av dessa problem: företagsbedrägerier.
Reality Defender tränar effektivt AI för att bekämpa AI. Företaget använder ”slutledningsbaserade modeller” för att upptäcka deepfakes, sa CTO Alex Lyle. ”Vår grundmodell använder något som kallas student/lärare-paradigmet. Vi tar en massa riktiga grejer och säger ”Det här är verkligt.” Sedan tar vi en massa falska grejer och säger: ’Detta är fejk’.”
För den falska jag ägnade jag lite tid åt att finjustera min röst. Jag lekte med konsistens, stabilitet och ton för att få det att låta mer autentiskt för mig. Det fanns bara så mycket vi kunde göra. Förutom en podcast-intervju 2021 har det inte publicerats mycket bilder där jag pratar spanska (språket jag använder för att kommunicera med mina föräldrar), och det mesta är oanvändbart på grund av musik som spelas i bakgrunden. Men med hjälp av nio sekunders ljud och data som samlats in från år av inlägg, lyckades de skapa en halvövertygande, om än omänsklig, AI-agent som kunde föra en konversation med föräldrar. Den engelska modellen jag använde för min bror var bättre. För vi hade mycket mer träningsdata, men det var fortfarande inte tillräckligt övertygande.
Men familjen är det tuffaste testet.
”De vet hur din röst låter,” berättade Scott Steinhardt, kommunikationschef på Reality Defender. Med mitt samtycke skapade Steinhardt en deepfake och modifierade den tills den mer eller mindre liknade mig. Min familj kanske inte låter sig luras, men det räcker nog för arbetskamrater och juridiska personer som till exempel banker.
De senaste 40 000 åren har vi levt av att lita på våra öron och syn, men nu kan vi inte längre göra det.
För att dessa verktyg ska vara effektiva måste de fungera snabbt. Generationen av AI är ganska långsam. De modeller vi kallade våra föräldrar offrade kvalitet för snabbhet. För att kunna svara snabbt på ljud var vi tvungna att acceptera dålig kvalitet i alla aspekter. Text-till-tal var mycket bättre, men tog längre tid att generera. När jag fick en röst att läsa Luckys monolog från Waiting for Godot lät den nästan exakt som jag.
”Som människor är det ganska svårt att undvika att bli förfalskad,” sa Nicholas Holland, Pindrops produktchef, till mig. ”Jag tror att utmaningen är ”Hur skyddar jag min personliga identitet?” Det är något världen fortfarande inte förstår. Jag tänker: ’Hur ska min institution veta att det är jag?’ Olika myndigheter implementerar olika säkerhetslager. ”
Det är också en resursfråga. Jag har inte pengar att anlita ett företag för deepfake-detektion för att kontrollera mina samtal, men det har min bank. Och min bank har mer att förlora, om inte i relativa termer, så i absoluta tal. En studie från 2024 visade att varje djupfalsk incident kostade företag 450 000 dollar och flera företag förlorade mer än 1 miljon dollar per bedräglig transaktion.
Vissa av dessa incidenter involverar bedragare som utger sig för att vara chefer, ringer underordnade och kräver att stora summor pengar ska överföras till deras konton. Innan jag kunde logga in på samtalet med Holland fick jag ett popup-meddelande på Zoom.
Detta möte är under analys. Pindrop Security och dess tredjepartsleverantörer spelar in ljud och video från möten för att avgöra om du är en riktig person eller en lämplig person. Genom att klicka på (Jag godkänner) nedan samtycker du till att Pindrop samlar in, använder och lagrar dina mötes- och ljud-, röst- och ansiktsskanningar (vilket kan betraktas som biometrisk information) och IP-adress (för att ytterligare identifiera din stat, provins eller land) för de syften som beskrivs ovan.
De försäkrade mig att mitt ansikte, röst och IP-adress inte skulle behållas i mer än 90 dagar.
Holland berättade för mig att företag nu översvämmas av falska jobbsökande. Ironiskt nog är Pindrop det också. ”Vi tittar på olika situationer. Vi tittar på var människor faktiskt arbetar. Kanske arbetar de på IT-avdelningen,” sa Holland. ”Vi har kunder som anställt någon och sedan gav den personen en remiss. De anställde ytterligare två personer, och det visar sig att samma person anställdes tre gånger med tre olika röster, tre olika ansikten och tre olika Slack-ID:n.”
Vanligtvis är dessa inte helt AI-genererade videopersonas. De är människor som använder deepfake-teknik för att ändra sina funktioner, nästan som en digital mask. Det brukade finnas ett knep för att upptäcka detta. Det handlade om att be den andra personen att placera tre fingrar framför ansiktet.
”Det fungerar bara inte just nu. AI-modellen är så bra att du helt kan skapa en hand och lägga handen framför ansiktet”, sa Holland. ”Nu är det i princip osynligt.”
Reality Defenders Lisle sa att när tekniken förbättras kommer attacker att bli mindre ansträngande. Bedragare utgjorde en gång en enda företagsägare, men nu riktar de sig mot anställda på alla nivåer i ett företag. Han berättade för mig om senaste attacker mot börsnoterade företag, även om han inte namngav dem. I denna attack gick bedragare åt LinkedIn, tog namnen på alla nuvarande anställda, skrapade TikTok och Facebook för att skapa en ”informationspool” och fick varje persons röstavtryck. Deras information och röstavtryck skrevs in i LLM för att bygga kontextfönster och kartor som ”distribuerades över hela företaget” för att ringa anställda på alla nivåer.
”Inom cybersäkerhet pratar vi om något som kallas ”förtroendegränsen”, sa Lyle. ”Problemet med deepfakes är att det alltid finns implicita tillitsgränser. Att se och höra är att tro. Vi har litat på våra öron och vår syn i över 40 000 år, men vi kan inte göra det längre. Det finns alla dessa förtroendegränser som vi inte behövde tänka på tidigare, och hackare använder dem på intressanta sätt.”
För närvarande är denna programvara endast riktad till stora företag. De har behovet, insatserna är höga och de djupa fickorna att betala för det. Den genomsnittliga personen har dock inte programvara för deepfake-detektering och kommer inte att ha det inom en snar framtid. Som Holland förklarar är den största utmaningen med massadoption medvetenhet. ”Många konsumenter är omedvetna om hotet, så de vet inte hur de ska hitta lösningar. Ground zero ligger hos de företag som servar konsumenterna.” Pindrop har inte en konsumentprodukt ännu, men har inte uteslutit att utveckla en i framtiden. Utmaningen, sa Holland, är att ”göra dessa system snabba, exakta och pålitliga nog att människor kan lita på dem i varje aspekt av deras dagliga liv.”
Reality Defender har ett annat perspektiv. Steinhardt sa att konsumentprodukter skulle skapa en ”ojämn och fläckig spelplan för människor.”
”Tänk på det här som ett antivirus. Tidigare var detta något enskilda människor skulle oroa sig för (eller ännu värre, inte oroa sig för), men nu genomsöker alla våra webbläsare, e-postleverantörer, internetleverantörer, etc. filer efter skadlig programvara innan den kommer in på våra datorer”, sa Steinhardt. ”Detta är vår metod för deepfake-detektion.”
Min deepfake lurade inte min familj, men jag försökte faktiskt inte det. Brottsbekämpande myndigheter över hela landet har varnat för deepfake kidnappningsbedrägerier i flera år. Föräldrar får med andra ord ett telefonsamtal med en mycket övertygande röst som ber om hjälp, och sedan kräver ”kidnapparna” en lösensumma. En gråtande röst är övertygande, även om rösten inte är helt övertygande. Även om det var en lögn kunde jag inte förmå mig att göra det mot mina föräldrar. Jag tänkte kort på andra bedrägerier också. Jag kunde ha ringt min bank eller mitt sjukförsäkringsbolag, men tanken på att bli utelåst från mitt konto, eller faktiskt begå legitimt bedrägeri, gjorde mig trött på experimentet. Istället ringde jag min bror. ”Åh, nej”, sa han så fort en röst hälsade honom. Han blev inte heller lurad.
gabby del valle
Inlägg från den här författaren kommer att läggas till i ditt dagliga e-postsammandrag och din startsida.
att följaatt följa
Se allt om Gabby Del Valle
