Benjamin Li, en datorarkitekt och ingenjör vid University of Pennsylvania, sa i en kommunikation med Ars att ”beräkningar för AI-inferens kan distribueras i ’kanten’ och distribueras på mindre plattformar närmare befolkningscentra och användare.” ”Till skillnad från träning, som kräver att tusentals GPU:er arbetar tillsammans, kräver slutledning några GPU:er, så den här strategin kan ha en mycket mindre inverkan på nätet,” sa han.
Lee varnar dock för att AI-inferensuppgifter kan variera från dokumentfrågor och svar till generering av programkod till flervarvskonversationer, var och en med olika beräkningskrav och prestandaförväntningar. Därför är det viktigt att upprätthålla nätverksanslutning mellan noder och se till att enskilda beräkningsnoder kan ge den prestanda som krävs för varje uppgift.
Lee ifrågasatte också om datacenter behöver krympa till ”granulariteten hos några få GPU: er” för att minska belastningen på elnätet. Han spekulerade i att liknande fördelar skulle kunna uppnås genom att installera ett traditionellt 20 megawatt datacenter istället för ett 1-gigawatt hyperskala datacenter.
Startup SPAN planerar att pilotera XFRA-noder till 100 hem 2026, följt av snabb expansion 2027.
Startup SPAN planerar att pilotera XFRA-noder till 100 hem 2026, följt av snabb expansion 2027.
Kredit: SPAN
Sedan är det frågan om säkerhet. XFRA-noder som distribueras på landsbygden kan vara mer sårbara för vissa datasäkerhetshot än centraliserade datacenter. ”Många sidokanalsattacker kräver fysisk närhet till maskinen, och datacenter kan förhindra det”, sa Lee. ”GPU:er fördelade över hem är mycket svårare att skydda.”
Och med tanke på att Nvidia GPU:erna inuti säljs för cirka 10 000 $ styck, kunde tjuvar se XFRA-noder bredvid ditt hem som ett attraktivt mål. Flera kommentarstrådar på Reddit har redan spekulerat om den möjligheten, med vissa kommentatorer som föreslår att vi som invånare kanske vill säkra sådana datorresurser. ”Självklart finns det en risk att själva hårdvaran kan gå förlorad på grund av stöld”, sa Lee.
De potentiella fördelarna och komplexiteten kommer att bli mer uppenbara under SPANs pilotimplementeringsfas. Men med Silicon Valley som för närvarande surrar av tal om orbitala datacenter och maritima AI-datacenter, kan datacenternoder inbäddade i förorterna få ett starkare fotfäste, åtminstone tills de drar till sig uppmärksamhet från husägargrupper.
