Povežite se s nama

Znanost

AI koji pregledava druge AI sustave: može li čitati težine neuronske mreže?

Istraživači MIT-a tvrde da je GPT-6 Astra izravno čitala i mijenjala težine drugih neuronskih mreža. Pokusi pokazuju obećavajuće rezultate, ali ne dokazuju da model potpuno razumije njihov unutarnji rad.

Objavljeno

-

AI koji pregledava druge AI sustave: može li čitati težine neuronske mreže? — naslovna slika

GPT-6 Astra, prema istraživanju povezanom s MIT-ovim laboratorijem CSAIL, može izravno pregledavati i mijenjati težine drugih neuronskih mreža, bez uobičajenog postupka treniranja. Autori su pristup nazvali Weight-Space Programming, odnosno programiranje u prostoru težina. U demonstracijskim pokusima Astra je iz parametara zaključivala što su neke mreže naučile, a drugima mijenjala ponašanje. Rezultati su zanimljivi za dijagnostiku i popravak modela, ali ne znače da je AI potpuno razumio njihove unutarnje mehanizme.

Što su težine i zašto su važne?

Neuronska mreža obrađuje ulazne podatke kroz niz matematičkih operacija. Težine su brojčani parametri koji određuju koliko pojedini ulaz utječe na rezultat. Tijekom treniranja model prilagođava te vrijednosti kako bi, primjerice, bolje prepoznavao slike ili stvarao tekst.

Velik broj težina otežava ljudima da na prvi pogled shvate, zašto je model dao određeni odgovor. Zbog toga se unutrašnjost neuronske mreže često opisuje kao „crna kutija”: vidljivi su ulazi i izlazi, ali nije očito kako su parametri doveli do rezultata.

U uobičajenom treniranju promjene težina izračunava optimizacijski postupak, često gradijentni spust. On procjenjuje kako parametre treba prilagoditi da bi se smanjila pogreška modela. Weight-Space Programming razlikuje se po tome što opći jezični model izravno prima vrijednosti težina, analizira ih i predlaže njihove izmjene.

Prepoznavanje naučenog iz sirovih parametara

U jednom skupu pokusa Astra je dobila težine četiriju malih neuronskih mreža koje su naučile igrati Breakout, Pong, Pac-Man i Freeway. Sve su imale jednaku arhitekturu, jednake ulaze i jednak broj mogućih akcija. Razlikovale su se po tome što su naučile, a Astra je iz težina točno imenovala sve četiri igre.

Advertisement

Svaka mreža imala je 17.253 težine. Ulaz joj je bio prikaz igre kao mreža od 10 puta 10 polja u pet kanala, a izlaz je određivao pet mogućih akcija. Mreže su trenirane algoritmom PPO, metodom koja uči politiku ponašanja kroz pokušaje i povratnu informaciju.

U drugom pokusu Astra je pregledavala male difuzijske modele, koji su učili stvarati slike krugova, trokuta ili kvadrata. Prema autorima, prepoznala je ciljni oblik iz težina. No, kad je sama crtala oblike, stvarala ih je kao obrise, premda su ciljne slike bile ispunjene. Taj detalj pokazuje razliku između prepoznavanja neke strukture u parametrima i potpunog oponašanja onoga što je model naučio.

Uvid u jezične modele

Istraživači su Astri dali i četiri srednja bloka transformera, vrste arhitekture koja se često koristi u jezičnim modelima. Nisu uključili ulazni ni izlazni sloj. Blokovi su potjecali iz modela treniranih na Python kodu, japanskom zapisanom latinicom i engleskoj Wikipediji.

Autori navode da je Astra u oba pokušaja ispravno prepoznala jezik sva tri modela. Označila je i provjerene glave pažnje povezane s kopiranjem obrazaca, bez pogrešnog označavanja drugih ispitanih glava. Glava pažnje je dio transformera koji pomaže modelu povezati različite dijelove ulaznog teksta.

Takvi rezultati upućuju na mogućnost da jezični model iz parametara može izdvojiti korisne tragove o tome što je drugi model naučio. Ipak, pregled nekoliko blokova nije isto što i cjelovito razumijevanje velikog jezičnog modela niti objašnjenje svih njegovih odluka.

Advertisement

Popravak politike u fizičkoj igri

Jedan od najupečatljivijih pokusa odnosio se na simuliranu fizičku igru Kinetix. Automobil je morao prvo krenuti unatrag, zatim dobiti zalet, preskočiti crvenu traku i stići do plavog cilja. Početna politika, odnosno naučeni sustav za odabir akcija, nije uspijevala završiti razinu ni nakon milijarde koraka treniranja.

Prema autorima, Astra je u jednom odgovoru izmijenila 3,5 posto od ukupno 171.664 težine. Nakon promjene politika je uspješno završila svih 1.024 testne epizode. To je primjer ciljane intervencije u već treniranu mrežu, a ne izgradnje nove politike od početka.

Neovisna reprodukcija pokazala je i da rezultat nije automatski dobiven istim početnim uputama. Prvi pokušaj stvorio je gotovo stalnu sklonost jednoj akciji i nije uspio ni u jednoj od 1.024 epizode. Uspjeh je uslijedio nakon dodatne upute da se ponašanje mora razlikovati ovisno o stanju igre. Tada je promijenjeno 7.326 težina, odnosno 4,3 posto.

Velik skok na testu matematike, uz važno ograničenje

Najveću pažnju privukla je izmjena modela Qwen3.5-0.8B. Autori navode da je Astra promijenila samo 0,016 posto njegovih težina, bez gradijenata i dodatnog treniranja. Rezultat modela na testu MATH-500 porastao je sa 7,9 na 48,1 posto, a rezultat na IFEvalu približno se utrostručio.

Te brojke ne treba tumačiti kao dokaz da je model općenito postao znatno bolji u matematici. Kritičari ističu da je problem bio specifičan: Qwen je nakon vrlo dugih odgovora znao zapeti u ponavljanju, među ostalim nakon približno 32.000 tokena. Prema njihovoj rekonstrukciji, Astra je mogla usporediti primjere odgovora koji zapinju s onima koji ne zapinju, a zatim prigušiti utjecaj povezanih težina.

Advertisement

Takav postupak može biti koristan način uređivanja modela, ali se oslanja na mjerenje konkretnog problema. Poboljšanje na odabranim testovima samo po sebi ne pokazuje kako će se model ponašati u svim drugim zadacima ili okolnostima.

Što pokusi dokazuju, a što ne?

Važno je razdvojiti tri tvrdnje. Prva je da jezični model može iz težina izvući korisne obrasce. Druga je da može predložiti izmjene koje poboljšavaju ponašanje na određenom zadatku. Treća, znatno snažnija tvrdnja jest da potpuno razumije unutarnji algoritam drugog modela. Pokusi podupiru prve dvije u ograničenim uvjetima, ali ne dokazuju treću.

Neovisne analize upozoravaju da su neki zadaci bili mali i pažljivo postavljeni. U pokusu s igrama, primjerice, kanali ulaza bili su označeni, a raspored i veličine težina mogli su dati tragove o geometriji zadatka. Kritičari smatraju da bi se dio zaključaka mogao dobiti i standardnim analizama, poznatim heuristikama ili ciljanim eksperimentima.

Postoji i razlika između čitanja težina bez dodatnih alata i njihova uređivanja uz pomoć koda i ponovljenih provjera. Jedna neovisna provjera malih mreža prepoznala je tri igre, ali ne i četvrtu, Freeway. Takav rezultat potvrđuje da metoda može biti korisna, ali i da uspjeh ovisi o zadatku.

Obećavajuća metoda, još bez konačnog odgovora

Istraživanje je predstavljeno kao autorska objava i preprint, a ne kao rad objavljen u recenziranom časopisu. To ne poništava rezultate, ali znači da ih treba čitati kao rane demonstracije čije se granice još provjeravaju. Istraživači su pokazali, između ostaloga, da Astra voi iz parametara izdvojiti informacije i u nekim slučajevima promijeniti ponašanje mreže bez njezina ponovnog treniranja.

Advertisement

Moguća korist je käytännön: sustav koji bi pouzdano otkrivao i ispravljao određene greške mogao bi smanjiti potrebu za dugotrajnim treniranjem i pomoći u provjeri modela prije primjene u stvarnim uvjetima. No, bolje razumijevanje ne jamči automatski veću sigurnost, a uspjeh na jednom testu ne potvrđuje pouzdanost u drugim okruženjima.

Važnost teme zato nije u tvrdnji da je „crna kutija” već otvorena, nego u promjeni istraživačkog pristupa. Ako AI može pregledavati i popravljati barem dio težina drugih sustava, istraživači dobivaju novi alat za ispitivanje modela iznutra. Hoće li taj alat postati pouzdan način dijagnostike ili će ostati koristan samo u usko postavljenim pokusima, tek treba utvrditi.

Advertisement
Advertisement

Urednikov izbor

Advertisement Cyberfolks web hosting

Najčitanije