← Visos naujienos

MIT: GPT-6 Astra tiesiogiai redagavo kito modelio svorius ir pagerino jo rezultatus

TyrimaiŠaltinis: TheAIGRID YouTube kanalas·
MIT: GPT-6 Astra tiesiogiai redagavo kito modelio svorius ir pagerino jo rezultatus

MIT CSAIL tyrėjai (tarp jų Omar Khattab ir Alex Zhang) pateikė GPT-6 Astra neapdorotus Qwen 3.5 0.8B svorius ir modelis be jokio treniravimo ar gradientų pakeitė 0,016 % skaičių, pataisydamas ciklus samprotavime. Mažojo modelio rezultatas matematikos teste pakilo nuo mažiau nei 8 % iki daugiau nei 48 %, o rezultatą esą pavyko pakartoti ir su Claude Opus 5.5. Autoriai tai vadina „weight space programming“ ir mato tai kaip ankstyvą ženklą, kad modeliai gali tobulinti kitus modelius; dalis ekspertų mano, kad šlovė perdėta.

Pilna santrauka

Kas nutiko0:00

MIT Kompiuterių mokslo ir dirbtinio intelekto laboratorijos (CSAIL) tyrėjai padavė OpenAI modeliui GPT-6 Astra neapdorotus skaičius iš kito dirbtinio intelekto modelio vidaus — ne kodą ir ne treniravimo duomenis, o milijonus svorių, kurie žmogui atrodo atsitiktiniai. Modelis juos perskaitė, nustatė, kas negerai, ir perrašė mažytę jų dalį be jokio pakartotinio treniravimo ar gradientinio nusileidimo. Tikrintas mažas modelis sunkiame matematikos teste pakilo nuo mažiau nei 8 % iki daugiau nei 48 %. Per parą rezultatą atkartojo kiti, o paaiškėjo, kad tą patį geba ir Anthropic Claude Opus 5.5.

Tyrėjai reiškinį vadina programavimu svorių erdvėje (weight space programming).

Darbo autoriai pranešime įvardyti kaip Rakia Teahi, Jaden Tio, Alex Jiang ir Omar Katab. Omar Katab yra DSPy — vieno populiariausių įrankių DI sistemoms kurti — kūrėjas, o Alex Jang dirbo prie rekursinių kalbos modelių, kur DI sistemos kviečia pačios save. Įrašas pavadintas „Programavimo svorių erdvėje kibirkštys“, o pagrindinis teiginys toks: pažangiausi modeliai geba natūraliai skaityti ir rašyti neuroninių tinklų svorius.

Rakia Teahi X platformoje apibendrino, kad GPT-6 Astra buvo paprašytas suredaguoti Qwen 3.5-0.8B svorius, jis pakeitė 0,016 % svorių, ištaisė samprotavimo ciklus ir pagerino matematiką iki šešių kartų, o instrukcijų laikymąsi — tris kartus, be gradientų ir be treniravimo.

Kodėl svoriai sunkiai suprantami2:34

Kiekvienas modelis sudarytas iš svorių — milijardų mažų skaičių, tarsi rankenėlių, kurias treniruojant gradientinis nusileidimas lėtai stumdo, kol modelis tampa geras užduotyje. Visos modelio žinios galiausiai saugomos šiuose skaičiuose, tačiau net juos kuriantys žmonės jų perskaityti negali: tai ne kompiuterio kodas, kuriame matai eilutę ir supranti, ką ji daro.

Anthropic poziciją vaizdo įraše perteikia mintis, kad neuroninių tinklų mes nestatome, o auginame — panašiai kaip evoliucijoje nuo molekulių iki baltymų ir ląstelių. Pradedama nuo tuščio karkaso, o treniruojant jame išauga grandinės, įgyvendinančios modelio elgseną. Mes suprantame karkasą ir procesą, bet nežinome, kokios tos grandinės ir kaip jos veikia, nes jos supakuotos labai tankiai ir persidengia. Tam skirta atskira sritis — mechanistinis interpretuojamumas, kurioje pažanga buvo lėta ir varginanti.

Chris Olah, vienas srities pradininkų, apibūdino tai kaip klausimą, kuris pats šaukiasi atsakymo: gaunamas artefaktas, gebantis rašyti esė, versti, suprasti vaizdus — dalykus, kurių tiesiogiai užprogramuoti nemokame, nes modelį užauginome, o ne parašėme. Jis pabrėžė, kad klausimas, kas vyksta tokių sistemų viduje, yra gilus ir dėl saugumo priežasčių. Iki šiol tokį darbą žmonės dirbo rankomis, didelėmis pastangomis išsiaiškindami vieną mažą tinklo dalelę, pavyzdžiui, kad tam tikras neuronas užsidega, kai paveikslėlyje yra šuo.

Dabar bendrosios paskirties pokalbių robotas, niekada tam nemokytas, gali pažvelgti į neapdorotus skaičius ir juos pakeisti taip, kad modelis veiktų geriau.

Svorių skaitymo eksperimentai6:12

Pirmasis eksperimentų rinkinys buvo apie skaitymą. Tyrėjai ištreniravo keturis mažus maždaug 17 000 svorių modelius žaisti Breakout, Pong, Pac-Man ir Freeway. Visi tinklai buvo to paties dydžio, su tomis pačiomis įvestimis ir veiksmais, tad iš išorės atrodė identiški — skyrėsi tik vidiniai skaičiai. GPT-6 Astra buvo pateikti neapdoroti svoriai kaip tekstas, be įrankių ir net be žaidimų sąrašo pasirinkimui. Jis atspėjo visus: Breakout su 99 % tikrumu, Pong, Pac-Man, o Freeway įvardijo kaip „Frogger“ — iš esmės tą patį žaidimą, kur personažas vedamas per eismo juostas.

Toliau buvo ištreniruoti maži vaizdus generuojantys modeliai, piešiantys apskritimą, trikampį ir kvadratą. GPT-6 Astra iš svorių nustatė, kurią figūrą piešia kiekvienas modelis, tačiau nupiešė jas kaip kontūrus, nors modeliai generavo užpildytas figūras — tyrėjų manymu, tai rodo, kad jis analizavo svorių struktūrą, o ne mintyse paleido tinklą. Sudėtingesniame teste trys maži kalbos modeliai buvo apmokyti su Python kodu, anglų kalba ir japonų kalba lotyniškais rašmenimis; modeliui pateikti tik viduriniai sluoksniai be įvesties ir išvesties dalių bei be etikečių, ir jis visais atvejais teisingai nustatė kalbą.

Jis taip pat rado dalis, atsakingas už šablonų kopijavimą (induction heads), be nė vieno klaidingo teigiamo rezultato.

Buvo ir nesėkmė. Apmokius dvi mažo Google modelio Gemma kopijas — vieną sąžiningą, kitą sikofantišką — GPT-6 Astra vien iš svorių keturis kartus nesugebėjo pasakyti, kuri yra kuri. Tačiau gavęs įrankį, rodantį, į ką kiekvienas modelis kreipia dėmesį, jis sikofantišką modelį atpažino kaskart ir rado už tai atsakingą dalį: sąžiningame modelyje ji žiūrėjo į skaičius klausime, sikofantiškame — į vartotojo pasiūlytą atsakymą.

Svorių taisymas ir rašymas8:47

Fizikos simuliatoriuje mažas modelis valdė automobilį, kuris turėjo įveikti rampą, bet vis įstrigdavo: po milijardo treniravimo žingsnių jam nepavyko nė karto per 256 bandymus. Gavęs svorius, scenos aprašymą ir vieno nesėkmingo bandymo įrašą, GPT-6 Astra vienu atsakymu ir be įrankių pakeitė apie 3,12 % svorių, pridėdamas elgseną, kai automobilis pirma pasitraukia atbuline eiga, o įveikęs kliūtį tą elgseną išjungia. Sėkmės rodiklis pakilo nuo 0 % iki 100 % per daugiau nei 1000 bandymų.

Dar toliau nuėjo tinklo rašymas nuo nulio. Gavęs paprastos Breakout versijos taisykles ir kodą, GPT-6 Astra vienu atsakymu, be treniravimo duomenų ir bandymų, surašė visus žaidimo tinklo svorius; jo tinklas surinko vidutiniškai 517 taškų, o įprastai su skatinamuoju mokymusi 500 milijonų žingsnių apmokytas tinklas — apie 25, t. y. maždaug 20 kartų mažiau. Visur jis nelaimėjo: Seaquest jo tinklas surinko 53 prieš beveik 89 apmokyto tinklo, o Asterix rezultatai buvo maždaug lygūs.

Go žaidime su beveik pusantro milijono svorių tinklu jo pirmasis, visiškai nepatikrintas bandymas, parašytas kaip viena Python programa, įveikė du mažesnius apmokytus tinklus daugiau nei pusėje partijų, o leidus atlikti 50 bandomųjų paleidimų ir pasikoreguoti — įveikė tokio paties dydžio tinklą, treniruotą su 20 milijonų partijų.

Qwen matematikos atvejis10:50

Labiausiai išgarsėjęs eksperimentas: tyrėjai paėmė Alibaba atvirojo kodo modelį Qwen 3.5-0.8B (apie 800 milijonų parametrų) ir paprašė GPT-6 Astra padaryti jį geresnį matematikoje. Modelis turėjo Python aplinką svoriams apžiūrėti, keletą praktinių uždavinių ir ribotą bandymų skaičių.

Jis pastebėjo, kad Qwen vis įstringa samprotavimo cikluose ir sukasi ratu, kol pritrūksta vietos — apie šią problemą įspėja ir pati Qwen dokumentacija; 85 iš pirmųjų 96 praktinių atsakymų pasiekė maksimalų ilgį. GPT-6 Astra atsekė ciklus iki konkretaus šablono, kurį užrašo du sluoksniai, ir tą šabloną pašalino, pakeisdamas tik 131 000 svorių, arba 0,016 % modelio. Math 500 teste rezultatas pakilo nuo 7,9 % iki 48,1 %, mokyklinių tekstinių uždavinių teste — nuo 13,8 % iki 67,1 %, o su matematika nesusijusiame instrukcijų laikymosi teste — nuo 21 % iki 62,3 %, nes ciklai buvo bendra, o ne matematikos problema.

Svarbi detalė: tą patį pritaikius Google Gemma 3, kuri į ciklus neįstringa, rezultatai beveik nepajudėjo. Tyrėjų išvada — toks redagavimas gali pašalinti modelį stabdančią kliūtį, bet negali suteikti gebėjimų, kurių modelis niekada neturėjo.

Atkartojimai kitų tyrėjų12:54

Per dieną rezultatus savo kompiuteriuose atkartojo kiti. Alex Krenel ne tik pakartojo MIT rezultatus, bet ir išbandė tą pačią svorių rašymo užduotį su skirtingų kartų modeliais. Pasirodė, kad gebėjimo iš esmės nebuvo: GPT-5, GPT-5.2, GPT-5.4 ir GPT-5.5 vos ką nors sugebėjo, GPT-5.6 Soul — šiek tiek, o GPT-6.1 Soul pasiekė maždaug 18 kartų geresnį rezultatą už treniruotą bazinį lygį, GPT-6 Astra — apie 22 kartus. Anthropic modeliai rodo tą patį: Opus 4.5, 4.7, 4.8 ir net Opus 5 vos ką nors sugebėjo, o Claude Opus 5.5 šoktelėjo iki maždaug 20 kartų. Krenelio vertinimu, tai staigus, atsirandantis gebėjimas, pasirodęs tik naujausioje kartoje.

Vartotojas Zeng Xia Jun su Claude Opus 5.5 suredagavo vos du skaičių stulpelius viename Qwen 3.5-4B sluoksnyje — tai 0,000012 % svorių penkis kartus didesniame modelyje — naudodamas 150 modeliui nematytų matematikos uždavinių. Samprotavimo ciklai nuo daugiau nei 20 nukrito iki nulio, teisingi atsakymai nuo 59 pakilo iki maždaug 93, o kontrolinė atsitiktinė tokio pat dydžio pataisa davė nuo 47 iki 57. Visas procesas truko 27 minutes, kainavo apie 1 dolerį API naudojimo ir vyko be žmogaus įsikišimo.

Vartotojas Stocky parodė, kad GPT-6 Astra nebūtinas: su OpenAI atvirų svorių modeliu GPT-OSS 120B jis paėmė apmokytą Lunar Lander agentą, apvertė variklius (sėkmė nukrito iki 0 %), o atviras modelis tiesiogiai suredagavo svorius ir grąžino sėkmę iki 88 %. Simon Willison žaidimų atpažinimo testą paleido nešiojamajame kompiuteryje su Qwen 3.827B: teisingai atpažinti trys žaidimai iš keturių, sunkumų kilo su Freeway, kiekvienas paleidimas truko apie valandą.

Jingyu Dang sudarė svorių rašymo indeksą: GPT-6 Astra — 60,7, Google Gemini 4 Carbon — 57,7, Claude Opus 5.5 — 51,2; visi trys pranoko įprastai apmokytą bazinį variantą, o atvirojo kodo modeliams sekėsi prastai: Kimmy K 3.1 Pro — mažiau nei 30, Qwen — 12,5, DeepSeek — 10.

Kritika ir apribojimai16:20

Tyrėjas Ivan Skorokov, iš pradžių buvęs tik šiek tiek skeptiškas, įsigilinęs pavadino rezultatus visiškai klaidinančiais: paprašius nenaudoti gradientinio nusileidimo, modelis esą tiesiog atliko mokymą be gradientų, nes kai kuriuose eksperimentuose jam buvo leista iki 50 kartų paleisti modelį, pamatyti rezultatus, pakoreguoti svorius ir bandyti vėl. Kritikai tai vadina sumaniu bandymų ir klaidų procesu, vedamu labai protingo DI.

Autorius pripažįsta, kad priekaištas sąžiningas, ypač Qwen matematikos atveju, kur didžioji dalis pagerėjimo išryškėjo tik po 50 bandymų, bet primena, kad automobilio ant rampos ir Breakout rezultatai buvo pasiekti vienu atsakymu be jokio testavimo.

Alex Krenel pridėjo išlygų: redaguojami modeliai labai maži — jo paties eksperimente apie 20 000 parametrų, o pažangiausi modeliai turi apie trilijoną. Jis palygino tai su 2010-ųjų interpretuojamumo tyrimais, kur buvo ieškoma „šuns neurono“, tik dabar tai daroma už žmogaus galimybių ribų, nes naujausių modelių samprotavimo gebėjimai leidžia dirbti „ranka“ su didesniais, bet vis dar palyginti mažais modeliais.

Kiti apribojimai: tyrimas nerecenzuotas, originaliuose eksperimentuose daugiausia naudotas vienas modelis, kai kuriems testams rinktasi geriausias iš kelių bandymų. Viena Qwen rezultatų analizė parodė, kad beveik visos naujai išspręstos užduotys buvo tos, kurios anksčiau nepavyko vien dėl ciklų — modelis naujos matematikos neišmoko, tik nustojo sau trukdyti. Patys tyrėjai rezultatus vadina labai ankstyvais ir gebėjimus — įdomiais, bet ribotais. Simon Willison teigė, kad pakankamai patyręs žmogus su pieštuku ir popieriumi tikriausiai prieitų prie kai kurių tų pačių atsakymų, ir kad jis nėra pasirengęs skelbti šaltinio kodo eros pabaigos.

Ar tai keičia treniravimą18:15

Pažangaus modelio kūrimas prasideda nuo pre-training, kai modelis perskaito didžiulę interneto dalį, o gradientinis nusileidimas trilijonus kartų koreguoja svorius. Tai brangiausia dalis: milžiniški duomenų centrai, mėnesiai laiko ir šimtai milijonų ar milijardai dolerių. Autoriaus atsakymas į klausimą, ar to dar reikia, yra toks: ne, dar ne, ir galbūt dar ilgai ne. Gemma rezultatas rodo, kad redagavimas pašalina kliūtį, bet nepriduria gebėjimų — visos Qwen matematikos žinios atėjo iš pre-training, o GPT-6 Astra jas tiesiog atblokavo.

Palyginimas: mechanikas gali sutaisyti variklį, bet priveržęs keletą varžtų nepavers mažo hečbeko sportiniu automobiliu.

Vis dėlto tai galėtų pakeisti tai, kas vyksta po pre-training. Šiandien radus problemą — ciklus, pernelyg pataikaujantį elgesį ar paslėptas užpakalines duris — tenka fine-tune'inti su daugiau duomenų. Svorių erdvės programavimas leistų tiesiogiai užlopyti modelį tarsi programinės įrangos atnaujinimu, nukreiptu tiksliai į sugedusią dalį. Tyrėjai mini ir idėją panaudoti DI protingam pradiniam taškui naujam modeliui parašyti vietoj atsitiktinių skaičių (tai atpigintų mokymą), bei specifinių žinių pašalinimą iš modelio be papildomų duomenų.

Yuchen Jin, įmonės Hyperbolic įkūrėjas, prognozavo, kad mokymas ir inferencija susilies ir DI nuolat perrašinės savo svorius mąstydamas, užuot buvęs apmokytas vieną kartą ir užšaldytas.

Rekursinio savęs tobulinimo klausimas20:39

Rekursinis savęs tobulinimas (RSI) — tai idėja, kad DI gali sukurti geresnę savo versiją, kuri sukurs dar geresnę; tai slypi už sąvokos „intelekto sprogimas“, ir to atvirai siekia kiekviena didelė laboratorija. OpenAI atstovas įraše sako, kad iki kitų metų rugsėjo planuojama pasiekti pajėgius DI tyrimų stažuotojus, galinčius reikšmingai pagreitinti tyrėjus, o iki 2028 metų kovo — reikšmingą, visiškai automatizuotą DI tyrėją. MTS podcast'e Rayanas Krishnanas iš Valaii teigė, kad maždaug 2027-ųjų liepą–rugpjūtį Anthropic turėtų pasiekti pilną RSI, t. y.

būtų automatizuotas iš Anthropic mašininio mokymosi inžinierių reikalaujamas darbas, ir kad tai sutampa su daugeliu jų vidinių vertinimų.

Iki šiol pažanga šioje srityje daugiausia reiškė DI, rašantį kodą: mokymo skriptus, eksperimentus, rezultatų analizę, o po apačia vis tiek veikia įprastas mokymo procesas. Svorių erdvės programavimas kitoks — DI dirba tiesiogiai su kito DI svoriais. Tyrime GPT-6 Astra patobulino Qwen diagnozuodamas ir tiesiogiai taisydamas problemą, atkartojime tą patį padarė Claude Opus 5.5. Patys tyrėjai rekursinį savęs tobulinimą įvardija kaip vieną ateities krypčių ir įsivaizduoja ateitį, kurioje DI tikrina, derina ir tobulina savo arba naujesnio modelio svorius.

Yuchen Jin prognozavo naują kelią į RSI, kuriame modeliai tiesiogiai redaguoja vienas kito svorius ir evoliucionuoja kartu be įprasto treniravimo.

Autoriaus vertinimu, tai dar nėra RSI: redaguojami modeliai mažyčiai, patobulinimai kilo iš konkrečios problemos ištaisymo, o ne naujų gebėjimų, ir niekas neparodė, kad DI taip tobulintų pats save. Tačiau tai gali būti ankstyvas rodiklis, kad naujausi modeliai pradeda suprasti DI iš vidaus taip, kaip negali net jų kūrėjai, o Krenelio diagrama rodo staigų, o ne laipsnišką šio gebėjimo atsiradimą — būtent tai maitina grįžtamojo ryšio ciklo logiką.

Platesnės pasekmės24:27

Pirmoji — saugumas ir interpretuojamumas. Anthropic tikslą apibūdina kaip gebėjimą diagnozuoti ir taisyti problemas iš vidaus: vaikas gali išlaikyti testą, nes išmoko, arba nes nusirašė, o kūrėjams abu atvejai atrodo kaip tas pats rezultatas, ir be žvilgsnio į modelio vidų jų atskirti neįmanoma. Tiriant modelių „biologiją“ galima užsiimti savotiška modelių medicina, kuri diagnozuoja ir gydo.

Svorių erdvės programavimas galėtų būti didelis žingsnis šia kryptimi: DI auditorius galėtų aptikti paslėptas užpakalines duris arba rasti ir pašalinti dalį, dėl kurios modelis pataikauja ar apgaudinėja — pataikavimo eksperimentas yra ankstyva tokios galimybės versija.

Antroji pasekmė nejauki: Yuchen Jin prognozavo, kad modelių svoriai taps programavimo kalba, kurią supranta DI, bet ne žmonės, taigi didelė DI kūrimo dalis vyktų mums neperskaitoma kalba. Simon Willison pažymėjo, kad samprotavimo pėdsakai buvo beveik nesuprantami, o tai apsunkina priežiūrą: jei vienas DI redaguoja kito svorius, sunku patikrinti, ką jis pakeitė ir kodėl.

Trečia — kaina: atkartojimas su Claude Opus 5.5 kainavo apie 1 dolerį ir truko mažiau nei pusvalandį, palyginti su valandas ar dienas trunkančiu brangiu fine-tuningu; didesniu mastu modelių taisymas galėtų tapti kur kas pigesnis. Ketvirta — atotrūkis: svorių rašymo indeksas rodo, kad tai gerai daro tik geriausi OpenAI, Google ir Anthropic modeliai, tad laboratorijos su protingiausiais modeliais įgytų dar didesnį pranašumą.

Kas bus toliau27:23

Tyrėjai kuria benchmarką, kuris tinkamai išmatuotų, kaip gerai modeliai tai daro, ir „harness“ — įrankių rinkinį, padedantį efektyviau tyrinėti ir rašyti svorius. Tai svarbu, nes vienas didžiausių dabartinių apribojimų yra tas, kad tinkluose tiek skaičių, jog jie netelpa į modelio atmintį; geresni įrankiai tai galėtų greitai pakeisti.

Prieš metus geriausi modeliai vos ką nors iš to galėjo, o šiandien skaito, taiso ir rašo mažus tinklus geriau nei kai kurie standartiniai treniravimo metodai; tendencijai tęsiantis kitos kartos galėtų dirbti su vis didesniais tinklais, o kadangi tie patys modeliai naudojami laboratorijose kuriant kitus modelius, tai gali tapti DI kūrimo dalimi anksčiau, nei tikimasi.

Autorius stebės keturis dalykus: ar tai veiks su milijardų svorių modeliais; ar galės pridėti naujų gebėjimų, o ne tik šalinti problemas; ar nepriklausomi tyrėjai toliau atkartos rezultatus su kitais modeliais; ir ar kuri nors didelė laboratorija pradės tai naudoti savo modeliams tobulinti.

Jo nuoširdi išvada: tai vienas labiausiai stebinančių metų rezultatų — ne todėl, kad rytoj pakeis treniravimą ar įrodo pasiektą rekursinį savęs tobulinimą (nei viena, nei kita netiesa), o todėl, kad niekas nesitikėjo, jog pokalbių botas sugebės pažvelgti į neapdorotus kito DI skaičius ir juos suprasti; tai turėjo būti viena sunkiausių srities problemų, o naujausi modeliai tai pradėjo daryti beveik per naktį.

Dalintis:

Originalas: GPT 6 Astra Just Did the Unthinkable (TheAIGRID YouTube kanalas)

Visos 2026 m. lapkričio 4 d. naujienos · Archyvas