Campbell Brown har ägnat sin karriär åt att söka korrekt information, först som en känd tv-journalist och sedan som Facebooks första och enda heltidsanställda nyhetschef. Idag ser vi hotet om historien upprepa sig när vi ser AI förändra hur människor konsumerar information. Den här gången väntar hon inte på att någon annan ska fixa det.
Hennes företag, Forum AI – som hon nyligen diskuterade med TechCrunchs Tim Fernholz på StrictlyVC-kvällen i San Francisco – utvärderar hur dess grundmodeller presterar på vad hon kallar ”höginsatsämnen”, ämnen som geopolitik, mental hälsa, ekonomi och rekrytering som är ”vaga, nyanserade och komplexa, eller utan tydliga svar.”
Tanken är att hitta världens ledande experter för att bygga riktmärken och utbilda AI-bedömare för att utvärdera modeller i stor skala. För Forum AI:s geopolitiska arbete har Brown anställt Niall Ferguson, Fareed Zakaria, tidigare utrikesminister Tony Blinken, före detta talman i parlamentet Kevin McCarthy och Ann Neuberger, som ledde cybersäkerhet i Obamas administration. Målet är att AI-domare ska nå cirka 90 % överensstämmelse med mänskliga experter, och Forum AI kunde nå den tröskeln, sa hon.
Brown spårar ursprunget till Forum AI, som grundades för 17 månader sedan i New York, till ett specifikt ögonblick. ”Jag var på Meta när ChatGPT först släpptes för allmänheten, och jag minns direkt efter att jag insåg att det här skulle bli tratten som all information skulle flöda igenom, och det var inte särskilt bra.” Med tanke på påverkan på hennes egna barn kändes ögonblicket nästan verkligt. ”Mina barn kommer att bli riktigt dumma om jag inte hittar ett sätt att lösa det här”, mindes hon att hon tänkte.
Det som frustrerade henne mest var att noggrannhet inte verkade vara någons prioritet. Han sa att Foundation-modellföretag är ”mycket fokuserade på kodning och matematik”, men nyheter och information är svårare. Men vad som är svårare, menade hon, är att det inte betyder frivilligt.
Faktum är att när Forum AI började utvärdera ledande modeller var resultaten inte alltid uppmuntrande. Hon citerade att Tvillingarna ser ”artiklar som inte har något att göra med Kina” från det kinesiska kommunistpartiets webbplatser, och påpekade att nästan alla modeller har en vänsterorienterad politisk fördom. Det finns också många subtila misslyckanden, sa hon, som brist på sammanhang, brist på perspektiv och halmgubbsargument utan erkännande. Vi har fortfarande en lång väg kvar att gå, säger hon. ”Men jag tror också att det finns några mycket enkla korrigeringar som avsevärt kommer att förbättra resultaten.”
Brown tillbringade år på Facebook och observerade vad som händer när plattformen optimerar för fel saker. ”Vi misslyckades med många saker vi försökte,” sa hon till Fernholz. Faktagranskningsprogrammet hon byggde finns inte längre. Även om sociala medier blundar för det, är lärdomen att optimera engagemang är dåligt för samhället, och många människor är underinformerade.
Hennes förhoppning är att AI kan bryta den cirkeln. ”Vid det här laget kan det gå åt båda hållen,” sa hon. Företag kan ge användarna vad de vill ha, eller så kan de ”ge människor det som är äkta, ärligt och sant.” Hon erkände att en idealistisk version av det, en AI som optimerar för sanning, kan låta naiv. Men hon tror att det är osannolikt att företag är allierade här. Företag som använder AI för kreditbeslut, utlåning, försäkringar och anställning är ansvarsfokuserade och ”kommer att vilja optimera för att lösa ansvar korrekt.”
Denna företagsefterfrågan är också vad Forum AI satsar sin verksamhet på. Att omvandla efterlevnadsproblem till stabila intäkter är dock fortfarande en utmaning, särskilt med tanke på att mycket av den nuvarande marknaden fortfarande är nöjd med checkbox-revisioner och standardiserade riktmärken som Brown anser vara otillräckliga.
Efterlevnadssituationen är ”ett skämt”, säger hon. När New York City antog den första lagen om anställningsfördomar som kräver AI-revisioner, fann statsrevisorn att mer än hälften hade oupptäckta överträdelser. Faktisk utvärdering, säger hon, kräver domänexpertis som inte bara kan ta itu med kända scenarier, utan också kantfall som ”kan få människor i problem som folk inte ens tänker på.” Och det arbetet tar tid. ”En smart generalist borde inte göra det.”
Brown, vars företag samlade in 3 miljoner dollar förra hösten ledd av Lerer Hippow, är unikt positionerat för att förklara kopplingen mellan AI-branschens självbild och verkligheten för de flesta användare. ”Du kommer att höra från ledare för stora teknikföretag, ’Den här tekniken kommer att förändra världen’, ’du kommer att förlora ditt jobb’, ’det kommer att bota cancer'”, säger hon. ”Men för den genomsnittliga personen som bara använder en chatbot för att ställa grundläggande frågor, kommer du fortfarande att få många slarviga och felaktiga svar.”
Hon menar att förtroendet för AI är på väldigt låga nivåer och att skepsis ofta är befogad. ”Det pågår en konversation i Silicon Valley kring en sak, men det pågår en helt annan konversation bland konsumenterna.”
Om du köper via länkar i våra artiklar kan vi tjäna en liten provision. Detta påverkar inte det redaktionella oberoendet.
