Microsoft iznenadio AI svet: Njihov novi model radi bez skupih GPU čipova i troši manje energije

Istraživački tim kompanije Microsoft, u saradnji sa kolegom sa Univerziteta Kineske akademije nauka, predstavio je novi AI model koji funkcioniše na običnim CPU procesorima umesto na skupim GPU čipovima. Istraživači su objavili rad na arXiv platformi u kojem detaljno opisuju način izrade modela, njegove karakteristike i rezultate testiranja.

U poslednjih nekoliko godina, veliki jezički modeli (LLM) postali su izuzetno popularni. Modeli poput ChatGPT-a dostupni su korisnicima širom sveta, predstavljajući koncept inteligentnih četbotova. Ono što većinu ovih modela povezuje jeste činjenica da se treniraju i pokreću na GPU čipovima zbog ogromne količine računarske snage potrebne za obradu masivnih količina podataka.

Preporučujemo

Poslednjih godina javlja se sve veća zabrinutost zbog enormne potrošnje energije u data centrima koji podržavaju brojne četbotove korišćene u različite svrhe. U ovom novom poduhvatu, tim je pronašao pametniji način obrade podataka i izgradio model koji to dokazuje.

Inovativna tehnologija koja menja pravila igre

Jedan od energetski najzahtevnijih aspekata pokretanja AI modela jeste način na koji se težine (weights) koriste i čuvaju - obično kao 8-bitni ili 16-bitni brojevi sa pokretnim zarezom. Takav pristup zahteva veliku količinu memorije i CPU obrade, što zauzvrat troši mnogo energije. U svom novom pristupu, istraživači su potpuno eliminisali korišćenje brojeva sa pokretnim zarezom i umesto toga predložili ono što nazivaju 1-bitnom arhitekturom.

U ovoj inovaciji, težine se čuvaju i obrađuju koristeći samo tri vrednosti: -1, 0 i 1. Ovo omogućava korišćenje jednostavnih operacija sabiranja i oduzimanja tokom obrade - operacije koje se lako izvršavaju na računarima sa CPU procesorima.

Testiranje novog tipa modela pokazalo je da može da se takmiči sa modelima baziranim na GPU čipovima u svojoj klasi, a čak je nadmašio neke od njih - sve to koristeći mnogo manje memorije i, na kraju, mnogo manje energije.

Za pokretanje takvog modela, tim je kreirao posebno runtime okruženje. Novo okruženje nazvano je bitnet.cpp i dizajnirano je da maksimalno iskoristi prednosti 1-bitne arhitekture.

Budućnost AI tehnologije na običnim računarima

Ako se tvrdnje tima pokažu tačnim, razvoj BitNet b1.58 2B4T modela mogao bi da donese prekretnicu u industriji. Umesto oslanjanja na ogromne data centre, korisnici bi uskoro mogli da pokreću četbotove na svojim računarima ili čak mobilnim telefonima. Pored smanjenja energetskih zahteva, lokalizacija LLM obrade značajno bi poboljšala privatnost i omogućila rad bez potrebe za povezivanjem na internet.

Ova tehnologija predstavlja značajan korak napred u demokratizaciji pristupa veštačkoj inteligenciji, omogućavajući efikasnije i pristupačnije AI modele koji ne zahtevaju specijalizovani hardver. Microsoft-ov inovativni pristup mogao bi da otvori vrata novoj generaciji AI aplikacija dostupnih širem krugu korisnika, uz istovremeno smanjenje negativnog uticaja na životnu sredinu.

(Telegraf.rs)