Cohere lanserar en familj av öppna flerspråkiga modeller

Enterprise AI-företaget Cohere har lanserat en ny familj av flerspråkiga modeller med anledning av det pågående Indien AI-toppmötet. Dessa modeller, kallade Tiny Aya, har öppen vikt. Detta innebär att den underliggande koden är öppen för alla att använda och ändra, stöder över 70 språk och kan köras på vardagliga enheter som bärbara datorer utan behov av en internetanslutning.

Modellen, lanserad av företagets forskningsarm Cohere Labs, stöder sydasiatiska språk som bengali, hindi, punjabi, urdu, gujarati, tamil, telugu och marathi.

Basmodellen innehåller 3,35 miljarder parametrar, vilket är ett mått på dess storlek och komplexitet. Cohere släppte också TinyAya-Global, en tweakad version som bättre följer användarkommandon för appar som kräver omfattande språkstöd. Regionala variationer kompletterar denna familj. TinyAya-Earth för afrikanska språk. TinyAya-Fire för sydasiatiska språk. TinyAya-Water för Asien och Stillahavsområdet, Västasien och Europa.

”Det här tillvägagångssättet gör det möjligt för varje modell att utveckla starkare språkliga grunder och kulturella nyanser, vilket skapar ett system som är mer naturligt och tillförlitligt för de samhällen den betjänar. Samtidigt har alla Tinyaya-modeller omfattande flerspråkig täckning, vilket ger en flexibel utgångspunkt för ytterligare anpassning och forskning”, säger företaget i ett uttalande.

Kohia noterade att dessa modeller tränades på ett enda kluster av 64 H100 GPU:er (en typ av Nvidias högpresterande chips) med relativt blygsamma datorkällor, vilket gör dem idealiska för forskare och utvecklare som bygger appar för målgrupp som talar modersmål. Dessa modeller kan köras direkt på enheten, så utvecklare kan använda dem för att driva offlineöversättning. Företaget noterade att det bygger den underliggande programvaran för användning på enheten och kräver mindre datorkraft än de flesta jämförbara modeller.

I ett språkligt mångsidigt land som Indien, möjliggör denna typ av offline-aktiverad funktionalitet en mängd olika applikationer och användningsfall utan behov av konstant tillgång till internet.

Modellen är tillgänglig på HuggingFace och Cohere-plattformarna, populära plattformar för att dela och testa AI-modeller. Utvecklare kan ladda ner och distribuera lokalt på HuggingFace, Kaggle och Ollama. Företaget släpper också utbildnings- och utvärderingsdatauppsättningar på HuggingFace och planerar att släppa en teknisk rapport som beskriver sin träningsmetodik.

Bolagets VD, Aidan Gomez, sa förra året att företaget planerar att bli börsnoterat ”snart”. Enligt CNBC avslutade företaget 2025 på ett starkt sätt, med 240 miljoner dollar i årliga återkommande intäkter och 50% tillväxt från kvartal till kvartal under hela året.