Apple istraživači razvijaju veštačku inteligenciju koja može da "vidi" i razume kontekst na ekranu

Apple istraživački tim napravio je veliki korak napred u razvoju veštačke inteligencije novim sistemom koji olakšava komunikaciju sa glasovnim asistentima tako što može preciznije da razume šta korisnik vidi na ekranu i u kom kontekstu se nalazi.

ReALM koristi velike jezičke modele za rešavanje složenih problema identifikacije referenci na ekranu, pretvarajući ih u zadatak modeliranja jezika. Ova inovacija dozvoljava sistemu značajna poboljšanja u performansama u poređenju sa postojećim metodama, čime se olakšava razumevanje konteksta od strane glasovnih asistenata i omogućava korisnicima da postavljaju pitanja vezana za ono što vide na svom ekranu.

Preporučujemo

Jedna od ključnih inovacija ReALM-a je sposobnost rekonstrukcije vizuelnog prikaza ekrana kroz tekstualnu reprezentaciju, što uključuje parsiranje entiteta na ekranu i njihove lokacije. Ovo omogućava da se fino podešavanje jezičkih modela specifično za razumevanje referenci, čime se postižu bolje performanse u odnosu na postojeće modele, uključujući i GPT-4.

Ovo istraživanje pokazuje potencijal specijalizovanih jezičkih modela za obavljanje zadataka poput rešavanja referenci u realnim sistemima, gde je upotreba velikih modela ograničena zbog zahteva za brzinom ili računarskim resursima. Apple svojim radom na ovom polju signalizira nastavak investicija u razvoj Siri i drugih proizvoda, čineći ih sposobnijim za razumevanje konteksta i pružanje prirodnijih interakcija.

Uprkos ovom napretku, istraživači upozoravaju na ograničenja, kao što su izazovi u obradi kompleksnijih vizuelnih referenci, što može zahtevati integraciju tehnika iz računarske vizije i multimodalnih pristupa.

Apple se nalazi u AI trci, gde se suočava sa jakom konkurencijom od strane vodećih tehnoloških kompanija. Uprkos svojoj poznatoj tajnovitosti, najave o novim AI inicijativama i proizvodima ukazuju na to da kompanija intenzivno radi na širenju svojih AI kapaciteta, uključujući potencijalno predstavljanje novih modela i AI funkcija na svojoj godišnjoj WWDC konferenciji.

(Telegraf.rs)