Zašto su programeri pouzdaniji od veštačke inteligencije?

Istraživači sa Univerziteta Teksas u San Antoniju (UTSA) sproveli su jednu od najopsežnijih studija do sada o bezbednosnim rizicima korišćenja veštačke inteligencije (AI) za razvoj softvera.

Njihovi nalazi ističu kritičnu ranjivost koju su nazvali „halucunacija", uzrokovanu vrstom greške u kojoj veliki jezički modeli LLM (Large Language Model) preporučuju nepostojeće softverske pakete tokom generisanja koda.

Preporučujemo

Istraživanje su sproveli studenti doktorskih studija računarskih nauka UTSA, a trebalo bi da bude objavljeno na prestižnom USENIX bezbednosnom simpozijumu 2025. Projekat je uključivao multiinstitucionalni tim uključujući istraživače sa više američkih univerziteta.

Dok se većina istraživanja „halucinacija" fokusira na zadatke veštačke inteligencije u vezi sa jezikom kao što su prevođenje ili sumiranje, UTSA studija se fokusira na „halucinacije paketa". Ove greške se javljaju kada LLM predlažu korišćenje biblioteka trećih strana koje ne postoje.

Ovo može otvoriti vrata ozbiljnim pretnjama po sajber bezbednost ako napadači registruju zlonamerne pakete pod tim nepostojećim imenima. Istraživači su objasnili kako je pretnja veoma jednostavna, jer predstavlja normalnu komandu koju programer može da otkuca, nešto tako osnovno kao što je uvoz paketa u Python-u.

Ipak, ovo može dovesti do velikog bezbednosnog problema ako je izmišljeni paket kasnije registrovan sa zlonamernim kodom. Kako se programeri sve više oslanjaju na AI, ulozi rastu.

Studija navodi da 97% programera sada koristi generativne AI alate, a otprilike 30% novog koda je generisano AI. Pošto se mnoga programska okruženja, kao što su PyPI za Python ili npm za JavaScript, oslanjaju na baze otvorenog koda, to olakšava lošim akterima da iskoriste „halucinacije" učitavanjem štetnih paketa.

Ako ChatGPT predloži lažni paket i korisnik pokrene kod, napadač može da registruje taj lažni naziv paketa i ubaci zlonamerni kod. Zatim, svaki put kada neko drugi koristi LLM, nesvesno preuzima i pokreće malver.

Istraživači UTSA-a su sproveli 30 testova preko Python-a i JavaScript-a, generišući preko 2 miliona uzoraka koda. Otkrili su da 450.000 od njih uključuje „halucinisane" pakete.

GPT modeli su imali značajno niže stope „halucinacija" (5%) u poređenju sa LLM-ovima otvorenog koda (20%). Python je takođe bio manje sklon ovim greškama nego JavaScript.

Konačno, studija naglašava rastuće poverenje koje korisnici imaju u LLM i kako se to poverenje može iskoristiti. Dok unakrsna provera paketa može smanjiti rizik, istraživači veruju da je pravo rešenje u poboljšanju samih LLM.

Tim je svoje nalaze podelio sa glavnim AI programerima, uključujući OpenAI, Meta, DeepSeek i Mistral AI. Na redu je generalna popravka AI za generisanje koda, čiji će se rezultati videti uskoro.

(Telegraf.rs/Goran Lazarov)