Hur många P har Google? Enligt Google finns det två.
Enligt Googles AI-översikt har ”ordet ’bajs’ exakt ett ’r’ i sig”, och ordet ’journalistik’ har två ’d’, men stavas ’journadism’. Google identifierade minst ett P i den amerikanska presidentens efternamn, stavat trpum.
Du behöver inte vara en profet för att förutsäga att Googles AI-drivna sököversyn inte kommer att fungera. Jag har gjort det här förut. När Google först lade till AI Overview för att söka, slutade funktionen med att citera satiriska inlägg från The Onion och Reddit som rådde folk att äta stenar och sätta lim på pizza.
Det är ingen överraskning att Google snubblar den här gången, eftersom de fördubblar sina ansträngningar att göra generativ AI till mittpunkten i dess 29-åriga flaggskeppsprodukt.
”Att räkna med ord är en känd utmaning för LLM, och vi arbetar på att lösa detta specifika problem,” sa Google till TechCrunch i ett e-postmeddelande.
Dessa grundläggande felstavningar kan verka bekanta. LLM är en typ av artificiell intelligens som driver chatbots och andra textgenererande funktioner som inte är byggda för att förstå stavning. Det är ett skämt som har pågått i flera år att när ett företag tillkännager en ny AI-modell bör det fråga sig hur många ”r” det finns i ordet ”jordgubbe”. Dessa AI-modeller kan koda appar på några sekunder, lösa problem som har förbryllat matematiker i decennier och kan stava nästan lika bra som en dagisbarn.
Problemen med Googles AI-översikt går dock längre än dumma stavfel. Google har redan åtgärdat ett problem från förra veckan där sökning efter ordet ”ignorera” skulle få upp vad som såg ut som en ordboksdefinition, bara för att den definitionen skulle säga ”Okej, låt mig veta om du har några nya uppmaningar eller frågor!” Dessa stavfel är dock fortfarande roliga eftersom de är väldigt svåra att rätta till.
Som forskare tidigare förklarat när vi frågade om dessa stavningsproblem, känner AI inte igen meningar som språkenheter som består av ord och bokstäver. Många LLM är byggda på en transformatormodell som bryter ner text till tokens. Polletter kan vara kompletta ord, stavelser, bokstäver etc. beroende på modell. Istället för att ”läsa” som en människa, konverterar AI texten till en numerisk representation av sig själv och kontextualiserar den för att hjälpa AI:n att få ett logiskt svar.
”LLM är baserad på den här transformatorarkitekturen, men den läser faktiskt inte texten. Vad som händer när du skriver en prompt är att den konverterar den till en kodning”, säger Matthew Guzdial, en AI-forskare och biträdande professor vid University of Alberta, till TechCrunch. ”När vi ser ordet ’den’ kodar vi vad ’the’ betyder, men vi vet inte om ’T’, ’H’ eller ’E’.”
Tokenbaserade arkitekturer som driver LLM:er som Googles AI-översikt är i sig begränsade, och forskare var inte optimistiska om att de skulle kunna lösa stavningsproblemet.
”Det är svårt att komma runt frågan om vad exakt ett ”ord” ska vara för en språkmodell, säger Sheridan Feucht, doktorand vid Northeastern University som studerar tolkningsbarheten av stora språkmodeller, till TechCrunch. ”Min gissning är att på grund av den här typen av tvetydighet finns det inget sådant som en perfekt tokenizer.”
Detta är inte nödvändigtvis en brådskande fråga för forskare, eftersom användbarheten av LLM inte kan förstås av forskarnas förmåga. Men dessa uppenbara misslyckanden tjänar som en påminnelse om att AI inte är perfekt, även om det kan verka som en allvetande kraft bortom vår förståelse. Du kan inte blint lita på AI-utgången utan att dubbelkolla dess noggrannhet.
Om du köper via länkar i våra artiklar kan vi tjäna en liten provision. Detta påverkar inte det redaktionella oberoendet.
