GPT-6 Astra rado klaidų TPBench tipo fizikos teste ir pasiekė 49 iš 50

Naujame teorinės fizikos benchmark'e iš 50 niekur nepublikuotų tyrimų lygio uždavinių GPT-6 Astra, veikdamas Codex aplinkoje su paieška ir kodo vykdymu, iš pradžių surinko apie 88 %. Patikrinus paaiškėjo, kad dalis „klaidų“ buvo pačių autorių atsakymų netikslumai – pataisius juos, rezultatas pakilo iki 49 iš 50 (98 %). Pranešime pabrėžiama, kad sugedę atsakymų raktai reiškia, jog modelių gebėjimai galėjo būti sistemingai nuvertinami, nors vienos užduoties neišsprendė nė vienas modelis.
Pilna santrauka
Fizikos benchmark'as, kuriame suklydo ekspertai0:00
Vaizdo įraše pasakojama apie naują benchmark'ą (testą su žinomais teisingais atsakymais), pavadintą Theo Phys Eval. Jį sudaro 50 visiškai naujų, niekur nepublikuotų teorinės fizikos uždavinių. Tai ne vadovėlių klausimai: tai tyrimų lygio problemos, kurių sprendimas srities pasaulinio lygio ekspertui užtruktų apie dieną, o gretimų sričių specialistams – gerokai ilgiau. Straipsnį parengė didelė tyrėjų grupė iš Harvardo, Teksaso universiteto, Google DeepMind ir pirmaujančių Indijos tyrimų institutų.
Tai, kad uždaviniai nepublikuoti, esą itin svarbu: vienas pagrindinių priekaištų AI testams yra tas, kad modelis atsakymus galėjo matyti mokymo duomenyse internete – panašiai kaip studentas, iš anksto pamatęs egzamino lapą. Kai uždaviniai niekur nebuvo paskelbti, to atsitikti negali, tad modeliui tenka iš tiesų skaičiuoti. Teorinė fizika pasirinkta kaip viena sunkiausių sričių: joje atsakymai išvedami per daugybę matematikos puslapių, o vienas klaidingas ženklas (pliusas vietoje minuso) gali tyliai sugadinti visą sprendimą.
Geriausiai testą atliko GPT-6 Astra, veikiantis OpenAI kodavimo įrankyje Codex, galintis ieškoti mokslinių straipsnių ir rašyti nedideles programas savo darbui patikrinti. Iš pradžių jo rezultatas atrodė apie 88 %. Tačiau tyrėjai rašo, kad iš pradžių manė, jog Astra suklydo dar keliose užduotyse, o atidžiau patikrinę ir pasikonsultavę su uždavinių autoriais rado subtilių klaidų pačiuose originaliuose sprendimuose. Visais tais atvejais, ekspertams ištaisius savo atsakymus, teisingas pasirodė esąs modelio atsakymas. Galutinis rezultatas – 49 iš 50, tai yra 98 %.
Istorija išplito socialiniame tinkle X: Freddy Vega parašė, kad GPT-6 Astra surinko daugiau nei 80 %, tvirtino, jog ekspertų rezultatai klaidingi, o jo skaičiavimai teisingi, ir patikrinusi komanda tai patvirtino, pakeldama balą iki 98 %. Įrašas surinko beveik milijoną peržiūrų; kita paskyra, Chubby, pakomentavo, kad AI tampa geriausiu įmanomu bendraautoriu. Autorius atkreipia dėmesį, kad jei atsakymų raktas buvo klaidingas, tai visi pagal jį vertinti modeliai buvo nuvertinti – vadinasi, jų gebėjimai greičiausiai sistemingai buvo neįvertinti.
Kartu jis sąžiningai pažymi, kad Astra kai kuriuos uždavinius vis tiek neįveikė, ypač kai buvo atjungtas nuo įrankių, o vienos užduoties neišsprendė nė vienas modelis.
Tas pats vyksta matematikoje5:13
OpenAI tyrėjas Noam Brown pastebėjo, kad ši istorija primena atvejį, kai GPT-5.5 rado nemažai klaidų Frontier Math benchmark'e, ir kad fizika galbūt juda panašia trajektorija kaip matematika.
Frontier Math – Epoch AI sukurtas testas, laikomas vienu sunkiausių pasaulyje; uždavinius rašė profesionalūs matematikai, o ekspertams jie gali užtrukti valandas ar dienas. Pasirodžius testui geriausi modeliai įveikdavo tik menką dalį klausimų. Gegužę Epoch AI pranešė, kad atlikdami AI padedamą peržiūrą aptiko lemiamų klaidų maždaug trečdalyje uždavinių ir mano, kad dauguma šių pažymėjimų pagrįsti. Autorius tai vadina santykio apvertimu: anksčiau klausta, ar AI išlaikys mūsų testus, dabar AI pradeda taisyti mūsų testus.
Mokslinių straipsnių auditas6:47
Tyrėjų grupė, vadovaujama Jasper Dekoninck ir Martin Vechev, su OpenAI modeliu GPT-6.1 Sol peržiūrėjo beveik 800 internete paskelbtų matematikos straipsnių, siekdama išsiaiškinti, kaip dažnai juose klysta pagrindiniai rezultatai. Metodas paprastas: matematikoje teiginį, esą kažkas visada teisinga, paneigia vienas kontrpavyzdys. Modelis skaitė straipsnį, išskirdavo pagrindinius teiginius ir ieškojo atvejo, kur jie griūva, o radęs turėdavo parodyti savo samprotavimus, kad tyrėjai galėtų patikrinti.
Visas procesas šimtams straipsnių kainavo apie du su puse tūkstančio dolerių skaičiavimo išteklių – mažiau, nei kainuotų vienam žmogui ekspertui kruopščiai patikrinti kelis straipsnius. Iki šių metų rugpjūčio parašytuose straipsniuose maždaug 6 % turėjo esminių klaidų, kai centrinis teiginys iš tiesų klaidingas ir darbą reikėtų gerokai perdaryti, o dar apie 30 % – smulkių, nedideliu pataisymu ištaisomų netikslumų. Patikrinę modelio išvadas tyrėjai įvertino, kad šiek tiek mažiau nei 90 % jo nurodytų esminių klaidų buvo teisingos.
Įdomi detalė: pastarųjų kelių mėnesių straipsniuose, kai daugiau nei ketvirtadalis autorių nurodė naudoję AI, esminių klaidų dalis nukrito iki 1,5 %. Tyrėjai pabrėžė, kad tam gali būti ir kitų priežasčių, tad priežastingumo teigti negalima, bet tai kelia prielaidą, kad AI jau padeda klaidų išvengti dar jų nepadarius.
Mokslininkų patirtis9:20
Mičigano universiteto fizikas Gabriele Carcassi pasakoja, kad maždaug prieš pusmetį AI pradėjo jam realiai veikti: nustojo kalbėti nesąmones ir ėmė sakyti prasmingus dalykus. Jis metus turėjo neįrodytą spėjimą apie topologiškai iškilias erdves, matematikas jam su pertraukomis padėjo keturis–šešis mėnesius, o praėjusį gegužę uždavinį pateikus AI atsakymas gautas per dvi minutes, pasitelkus vadinamąją tube lemma, kurios fizikas nežinojo. Jis sako, kad nebereikia maldauti matematikų pagalbos, kad tai buvo nepaprastai transformuojama, ir apibendrina: AI nėra genijus, viską reikia tikrinti, bet jis žino viską.
Šiemet OpenAI taip pat paskelbė, kad vienas jų modelių pateikė įrodymą garsiai matematikos problemai – ciklų dvigubos dangos spėjimui, maždaug 50 metų buvusiam neišspręstam. Modelis dirbo su 64 lygiagrečiai veikiančiais AI pagalbininkais ir baigė per mažiau nei valandą. Matematikas Thomas Bloom pavadino įrodymą labai gražiu, trumpu ir elementariu, sakė, kad jis galėjo būti rastas dar devintajame dešimtmetyje, ir paaiškino, jog žmogus greičiausiai pasiduotų, kai nepavyksta akivaizdus kelias, o AI be perstojo bando smulkias variacijas, kol viena suveikia.
Vėliau OpenAI iš karto paskelbus šimtus AI sugeneruotų matematikos straipsnių reakcijos buvo prieštaringos: vieni vadino tai istoriniu momentu, kiti piktinosi, o kelis straipsnius dėl klaidų teko atšaukti.
Kaip apskritai testuoti AI11:58
Kyla keista problema: AI protą matuojame žmonių sukurtais testais su žmonių parengtais atsakymais, bet ką daryti, kai modelis srityje išmano geriau už testo autorius? Jei atsakymas nesutampa, nebeaišku, kas klysta – modelis ar atsakymų raktas. Be to, benchmark'ai greitai „prisisotina“: testai, turėję atlaikyti metus, įveikiami per mėnesius. Pavyzdžiui, 2024-ųjų pabaigoje pasirodęs Frontier Math geriausiems modeliams buvo įveikiamas mažiau nei 2 % – o nepraėjus dvejiems metams AI ne tik sprendžia tas užduotis, bet ir audituoja patį testą.
Siūlomi keli sprendimai: naudoti uždavinius, kurių atsakymą galima tikrinti automatiškai (kodas, kuris veikia arba ne; įrodymai, tikrinami specialia programine įranga žingsnis po žingsnio), arba duoti AI dar neišspręstas problemas – jei modelis įveikia 50 metų neįveiktą uždavinį, tai jau savaime įtikinamas testas. Autorius pažymi, kad AI jau dabar padeda kurti ir taisyti testus, kuriais matuojamas AI: Frontier Math peržiūra buvo AI padedama, straipsnių auditą atliko AI, fizikos benchmark'ą faktiškai pataisė AI. Jis numato ateitį, kurioje AI rašys sunkiausius klausimus ir tikrins atsakymus, o žmonės daugiausia prižiūrės procesą.
Kas dar guli prieš akis nepastebėta14:32
Autoriui labiausiai įdomu tai, kad visos šios klaidos buvo matomos visą laiką: netikslumai fizikos atsakymuose, klaidos matematikos testuose, klaidingi teiginiai paskelbtuose straipsniuose, net idėjos, reikalingos 50 metų senumo problemai įrodyti, egzistavo nuo devintojo dešimtmečio. Niekas nebuvo paslėpta – tiesiog reikėjo kitokio tipo proto. Istorijoje nemažai atradimų buvo padaryti iš seniai surinktų duomenų, kai kas nors pažvelgė kitu kampu arba susiejo skirtingų sričių idėjas; dabar turime sistemą, perskaičiusią beveik viską visose srityse ir nepavargstančią ieškoti.
Keliami klausimai: kiek medicinos tyrimų, kurių niekas nėra perskaitęs visų, slepia jau veikiančius gydymo būdus; kiek archyvuose dešimtmečius gulinčių mokslinių duomenų turi nepastebėtų atradimų; kiek įstatymuose, sutartyse ir taisyklėse yra niekieno nepastebėtų prieštaravimų. Pasak autoriaus (nurodančio savo ankstesnį vaizdo įrašą), AI jau randa rimtų saugumo spragų kode, kurias žmonės praleido metų metus. Daug artimiausių metų „proveržių“ gali būti ne nauji atradimai, o AI pastebėti seniai egzistavę dalykai. Tai, jo manymu, žemina mūsų pasitikėjimą tuo, kad ekspertas visada turi paskutinį žodį, nors ekspertai ir toliau svarbūs.
Progreso tempas ir „burbulo“ klausimas17:04
Autorius primena, kad GPT-4 pasirodė 2023 m. kovą, ir tada žavėtasi, kad modelis išlaiko advokatūros egzaminą ar gerai atlieka mokyklinio lygio testus. Praėjus maždaug trims su puse metų antraštės skelbia, kad AI taiso pasaulinio lygio fizikų parengtus atsakymų raktus.
Jis kelia klausimą, ar tai tikrai burbulas. Pripažįsta, kad hype'o yra ir kai kurios bendrovės žlugs, bet tokių istorijų nenuneigsi: arba modelis atsakė teisingai, arba ne, ir šiuo atveju atsakė teisingai. Taip pat aptariama S kreivės idėja – technologijos tobulėja lėtai, paskui labai greitai, tada plokštėja. Kol kas kiekvieną kartą, kai pranašaujama siena, nauja modelių karta ją peržengia.
Priežastys, dėl kurių progresas gali tęstis: sparčiai auganti skaičiavimo galia ir šimtai milijardų dolerių, investuojamų į duomenų centrus; geresnis modelių gebėjimas naudoti įrankius – paiešką internete ir kodo rašymą savo atsakymams tikrinti (būtent tai padėjo GPT-6 Astra fizikos teste); ir tai, kad AI jau padeda kurti geresnį AI – pavyzdžiui, Anthropic teigė, kad didžiąją dalį jų kodo dabar rašo jų pačių modeliai.
Ką tai reiškia ekspertams ir visiems kitiems20:06
Pirma, keičiasi eksperto vaidmuo: anksčiau ekspertas buvo tas, kuris žino atsakymą, o ateityje – tas, kuris žino, kokius klausimus kelti, pastebi, kada AI klysta, ir prisiima atsakomybę už galutinį sprendimą. Antra, tai žada greitesnį mokslo tempą: jei uždaviniai, trukę metus, sprendžiami per minutes, galimi nauji gydymo būdai, pigesnė švari energija, proveržiai fizikoje, matematikoje, medicinoje, medžiagose.
Trečia, verta būti kukliems dėl to, ką manome žiną: jei fizikos testų autoriai klysta, o 6 % matematikos straipsnių turi esminių klaidų, daug „nusistovėjusių faktų“ nusipelno antro žvilgsnio, kurį dabar pirmą kartą galima atlikti dideliu mastu.
Nerimą kelianti pusė – verifikacijos problema: kol kas fizikas galėjo patikrinti, kad AI teisus, bet kas bus, kai AI dirbs su problemomis, kurių nė vienas žmogus iki galo nesupranta. Reikės geresnių tikrinimo įrankių, tokių kaip įrodymų tikrinimo programinė įranga, ir atsargumo sprendžiant, kur leisti AI veikti be žmogaus, galinčio suprasti jo sprendimus. Paprastiems žmonėms išvada paprasta: įrankiai sparčiai tobulėja, ir tie, kurie mokosi juos naudoti bei tikrinti jų darbą, galės daryti tai, kas prieš kelerius metus buvo neįmanoma.
Artimiausiems metams autorius numato tris dalykus: daugiau panašių istorijų, kai AI randa klaidas vadovėliuose, garsiuose straipsniuose ir testuose; mokslinių žurnalų bei universitetų praktiką naudoti AI kaip standartinę recenzavimo dalį (jei už kelis tūkstančius dolerių skaičiavimo randama tai, ką praleido recenzentai, sunku rasti priežastį to nedaryti); ir daugiau dešimtmečius neišspręstų problemų, įveiktų paties AI arba mokslininkų kartu su AI, nors dalis rezultatų pasirodys klaidingi. Taip pat prognozuojamas sunkus pokalbis apie tai, kam priklauso nuopelnai, kai didelį atradimą padeda padaryti AI.
Pabaigoje autorius sako manantis, kad gyvename vienu keisčiausių žmonijos žinojimo istorijos momentų, ir kad greičiausiai dar toli gražu nesame kreivės viršuje. Jis kviečia žiūrovus komentaruose atsakyti, ar AI iš tiesų tampa protingesnis už ekspertus, ar tik geriau pastebi tam tikro tipo klaidas; ar AI turėtų kurti testus kitiems AI; ir ar esame burbule, ar tik pradžioje.
Originalas: AI Is Now Doing Things Scientists Thought Were Impossible (TheAIGRID YouTube kanalas)