Google DeepMind otkrio "nadljudski" AI sistem: Evo šta sve može

Istraživački tim Google DeepMind-a razvio je sistem veštačke inteligencije SAFE (Search-Augmented Factuality Evaluator) koji pokazuje izuzetne sposobnosti u proveri tačnosti informacija, nadmašujući ljudske fact-checkere po tačnosti i efikasnosti. Ovo otkriće, objavljeno u studiji "Dugoročna činjeničnost u velikim jezičkim modelima", predstavlja značajan napredak u borbi protiv dezinformacija na internetu.

SAFE koristi velike jezičke modele za razlaganje generisanog teksta na pojedinačne činjenice, a zatim se oslanja na rezultate Google pretrage da oceni tačnost svake tvrdnje. Ovaj proces omogućava 'nadljudsku' tačnost, sa stopom usklađenosti od 72% u poređenju sa ocenama ljudskih anotatora na uzorku od oko 16.000 činjenica.

Preporučujemo

Rasprava o 'nadljudskim' performansama se razbuktala nakon što je studija pokazala da u 76% slučajeva, kada su se mišljenja SAFE-a i ljudskih ocenjivača razlikovala, presuda veštačke inteligencije bila tačna. Međutim, kritičari poput Gerija Markusa ističu potrebu za poređenjem sa ekspertima u proveri činjenica, a ne samo sa plaćenim anotatorima, kako bi se pravilno ocenila 'superljudska' performansa.

On a quick read I can’t figure out much about the human subjects, but it looks like superhuman means better than an underpaid crowd worker, rather a true human fact checker? That makes the characterization misleading. (Like saying that 1985 chess software was superhuman).…— Gary Marcus (@GaryMarcus) March 28, 2024

Jedna od prednosti SAFE-a jeste njegova ekonomičnost; korišćenje ovog sistema je otprilike 20 puta jeftinije od angažovanja ljudskih fact-checkera. Kako se količina informacija generisanih pomoću jezičkih modela neprestano povećava, ekonomičan i skalabilan način verifikacije tvrdnji postaje sve važniji.

DeepMind tim je upotrebio SAFE za evaluaciju tačnosti 13 vodećih jezičkih modela kroz novi referentni okvir pod nazivom LongFact. Rezultati ukazuju na to da veći modeli generalno proizvode manje grešaka, ali čak i najbolji modeli generišu značajan broj netačnih tvrdnji.

Transparentnost i poređenje sa ljudskim standardima su ključni za dalji razvoj tehnologija poput SAFE-a. Iako su kôd SAFE-a i dataset LongFact dostupni na GitHub-u, za potpunu procenu sposobnosti ovog sistema neophodno je razumevanje specifičnosti procesa provere činjenica od strane ljudi.

Automatsko proveravanje činjenica predstavlja važan korak ka stvaranju novog sloja poverenja i odgovornosti u digitalnom prostoru. Međutim, ključno je da se razvoj ovakvih tehnologija odvija otvoreno, sa uključivanjem širokog spektra učesnika, kako bi se pravilno izmerio stvarni uticaj na borbu protiv dezinformacija.

(Telegraf.rs)