Går ut med AI
Waymo World Model är mer än bara en port i Genie 3 med dashcam-video stoppad inuti. Waymo och DeepMind använde en specialiserad efterträningsprocess för att få sin nya modell att generera både 2D-video och 3D LIDAR-utdata från samma scen. Kameror är bra på att visualisera detaljer, men lidar behövs för att lägga till kritisk djupinformation till vad självkörande bilar ”ser” på vägen, säger Waymo, och kanske borde någon berätta det för Tesla.
Med hjälp av världsmodellen kan Waymo fånga video från sina fordon och använda uppmaningar för att ändra vägen fordonet tar. Waymo kallar detta körbeteendekontroll. Dessa simuleringar med lidar-kartor rapporteras ge bättre realism och konsekvens än äldre rekonstruktionssimuleringsmetoder.
Waymo kan använda en världsmodell för att se vad som skulle hända om bilen åkte åt ett annat håll.
Waymo kan använda en världsmodell för att se vad som skulle hända om bilen åkte åt ett annat håll.
Den här modellen kan också hjälpa till att förbättra självkörande AI utan att lägga till eller subtrahera allt. Det finns många dashcam-videor tillgängliga för självkörande bilutbildning, men de saknar multimodala sensordata från Waymos fordon. Att släppa en video som denna i Waymo World Model genererar matchande sensordata som visar hur den drivande AI:n uppfattade situationen.
Även om Waymo World Model kan skapa helsyntetiska scener, verkar företaget främst intresserade av att ”ändra” tillståndet för den faktiska videon. Blogginlägget innehåller exempel på att ändra tid på dygnet och väder, lägga till ny skyltning och placera fordon på ovanliga platser. Eller tänk om det fanns en elefant i vägen?
Waymo är redo ifall en elefant dyker upp.
Waymo är redo ifall en elefant dyker upp.
Waymos första teststäder hade genomgående solig himmel (som Phoenix) och väldigt lite dåligt väder. Sådana simuleringar kan hjälpa bilar att anpassa sig till mer olika förhållanden. Nya marknader inkluderar platser i svårare situationer, som Boston och Washington, DC.
Naturligtvis kommer fördelen med den nya AI-modellen att bero på hur exakt Genie 3 kan simulera den verkliga världen. Genie 3-testvideorna vi har sett hittills sträcker sig från ganska trovärdiga till kusliga dalterritorier, men Waymo tror att tekniken har förbättrats till den grad att den kan lära självkörande bilar ett och annat.
