← Visos naujienos

LeCun darbas: 109 mln. parametrų JEPA lenkia iki 72 mlrd. parametrų kalbos modelius

TyrimaiŠaltinis: TheAIGRID YouTube kanalas·
LeCun darbas: 109 mln. parametrų JEPA lenkia iki 72 mlrd. parametrų kalbos modelius

Randall Balestriero ir Yann LeCun darbe „Proving and Improving the Platonic Representation Hypothesis with JEPAs“ teigiama, kad 109 mln. parametrų JEPA modelis geriau sutampa su vaizdų modelių reprezentacijomis nei iki 72 mlrd. parametrų kalbos modeliai, be to, naudodamas apie 42 kartus mažiau treniravimo duomenų. Pranešime tai siejama su ilgamete LeCun kritika, kad vien LLM mastelio didinimas neveda prie žmogaus lygio intelekto, ir su jo naująja įmone AMI Labs, pritraukusia apie 1 mlrd. dolerių.

Pilna santrauka

Kas yra Yann LeCun ir kodėl jo žodžiai svarbūs1:34

Vaizdo įraše teigiama, kad Yann LeCun jau daugelį metų kartoja DI industrijai, jog ji daro klaidą: kol OpenAI, Google, Anthropic ir Meta išleido šimtus milijardų dolerių vis didesniems kalbos modeliams, LeCun tvirtino, kad didesni pokalbių robotai neatves prie žmogaus lygio intelekto. Jo paties žodžiais, tokio rezultato per artimiausius dvejus metus nebus „absoliučiai jokių šansų“, o idėja apie „genijų šalį duomenų centre“ esanti nesąmonė.

LeCun pristatomas kaip vienas šiuolaikinio DI pradininkų: devinto dešimtmečio pabaigoje Bell Labs jis padėjo sukurti konvoliucinį neuroninį tinklą, pirmiausia pritaikytą ranka rašytiems skaičiams atpažinti; iki dešimto dešimtmečio pabaigos tokios sistemos nuskaitydavo didelę dalį JAV išrašomų čekių. Ta pati idėja šiandien veikia veido atpažinime telefonuose, medicininių vaizdų analizėje ir savaeigių automobilių kamerose. 2018 m. kartu su Geoffrey Hintonu ir Yoshua Bengio jis gavo Tiuringo apdovanojimą; visi trys vadinami DI krikštatėviais. 2013 m.

LeCun įkūrė Facebook AI tyrimų laboratoriją, daugiau nei dešimtmetį buvo Meta vyriausiasis DI mokslininkas ir NYU profesorius.

Praėjusių metų pabaigoje jis pasitraukė iš Meta ir Paryžiuje įkūrė AMI Labs (Advanced Machine Intelligence). Davose LeCun aiškino, kad industrija visiškai „LLM-pilled“, visi kasa tą patį griovį ir negali sau leisti daryti kažko kitokio, nes atsiliktų; Meta taip pat pasuko ta kryptimi, o tai jam nebeįdomu. Kovą AMI Labs pirmajame raunde pritraukė 1,03 mlrd. dolerių — vieną didžiausių pirmųjų raundų Europos istorijoje; tarp rėmėjų – Jeffo Bezoso investicinė bendrovė, Nvidia, Samsung ir Toyota.

Kodėl tekstas, pasak LeCun, nepakanka4:09

LLM mokosi skaitydami milžiniškus teksto kiekius ir prognozuodami kitą žodį. LeCun pateikia paprastą skaičiavimą: tipinis modelis apmokomas maždaug 20 trilijonų tokenų, kiekvienas apie tris baitus, tai yra apie 10 iki 14-tosios laipsnio baitų — praktiškai visas viešai prieinamas interneto tekstas, kurį žmogui skaityti prireiktų kelių šimtų tūkstančių metų. Tuo tarpu ketverių metų vaikas yra pabudęs apie 16 000 valandų, o per regos nervą į smegenis patenka apie 2 megabaitus per sekundę — vėlgi maždaug 10 iki 14-tosios baitų.

Taigi vaikas per ketverius metus gauna tiek pat duomenų, kiek didžiausi LLM, bet išmoksta, kaip veikia realus pasaulis: kad daiktai krenta, kad už sofos nuriedėjęs kamuolys vis dar egzistuoja, kad nustumta stiklinė suduš — ir visa tai neperskaitęs nė vieno žodžio.

Dėl to, pasak LeCun, DI yra keistas: modeliai išlaiko advokatūros egzaminą, skaičiuoja integralus ir sprendžia matematikos uždavinius, bet neturime namų roboto ar tikro penkto lygio savaeigio automobilio, kuris išmoktų vairuoti per 20 valandų kaip paauglys. Jo paaiškinimas: LLM sėkmingi ten, kur pati kalba yra samprotavimo substratas (matematika, programavimas), o realus pasaulis netvarkingas, tolydus ir nenuspėjamas. Įraše X platformoje LeCun rašė, kad LLM kaupia daugybę deklaratyvių žinių (faktų), todėl jiems reikia tiek parametrų ir atminties, o žinių kaupimą galima pakeisti supratimu.

Pasaulio modeliai ir JEPA architektūra7:47

Alternatyva — pasaulio modelis, vidinis supratimas, kaip veikia pasaulis, leidžiantis prognozuoti, kas bus toliau; kaip gaudant kamuolį smegenys neskaičiuoja kiekvieno žolės stiebelio, o apytiksliai nuspėja trajektoriją. Pagrindinė problema su įprastu metodu: jei DI mokomas numatyti kitą vaizdo kadrą pikselis po pikselio, jis turi atspėti kiekvieną detalę, o daugelis jų iš principo nenuspėjamos.

Paskaitoje ETH Ciuriche LeCun pateikė pavyzdį: filmuojant auditoriją sistema galbūt nuspės, kad tai klasė su baigtiniu dydžiu ir langais vienoje pusėje, bet niekaip negalės nuspėti, kaip atrodo klausytojai ar kurios kėdės laisvos — verčiant daryti tokias prognozes sistema pražudoma.

LeCun sprendimas — JEPA (joint embedding predictive architecture). Skirtingai nuo generatyvinės architektūros, kuri bando rekonstruoti Y su smulkiausiomis detalėmis, JEPA užkoduoja ir X, ir Y, o prognozė vyksta reprezentacijų erdvėje. Taip sistema gali iš Y reprezentacijos pašalinti nenuspėjamą informaciją, o prognozė tampa abstraktesnė, bet tikslesnė. Analogija: vienas žmogus futbolo rungtynes aprašo per kiekvieną žolės stiebelį ir sirgalių aprangą, kitas sako, kad puolėjas bėga link vartų, o gynėjas ruošiasi atimti kamuolį — antrasis aprašymas naudingesnis prognozėms.

Pavojus toks, kad modelis gali „sukčiauti“ ir visiems dalykams pateikti tą pačią santrauką — tai vadinama kolapsu. LeCun komanda naudoja treniravimo taisykles SIGReg ir VICReg, kurios neleidžia pasirinkti šio tingaus trumpojo kelio.

Straipsnio rezultatai ir platoniškoji hipotezė11:57

Straipsnis „Proving and Improving the Platonic Representation Hypothesis with JEPAs“, paskelbtas spalio 29 d., parašytas Randall Balestriero (Brown universiteto profesoriaus, anksčiau dirbusio su LeCun Meta) ir paties LeCun. 2024 m. MIT mokslininkai pastebėjo, kad skirtingų modelių — treniruotų vaizdais ir tekstu — vidinė informacijos organizacija vis labiau panašėja, kuo modeliai galingesni, tarsi jie atrastų tą patį pamatinį pasaulio žemėlapį. Idėja pavadinta Platono vardu: skirtingi DI mato skirtingus šešėlius ant urvo sienos, bet išmoksta tą pačią realybę.

LeCun ir Balestriero matematiškai parodė, kad tam tikromis sąlygomis JEPA modeliai, treniruoti visiškai skirtingų tipų duomenimis (tekstu ir vaizdais), išmoksta tą patį pasaulio žemėlapį, tik pasuktą kitu kampu. Pagrindinė sąlyga — „geri vaizdai“ (good views): modelis mokosi lygindamas du skirtingus to paties momento stebėjimus, pavyzdžiui, šuns su skraidančia lėkšte nuotrauką ir tą pačią sceną aprašantį sakinį arba dvi to paties kambario nuotraukas.

Straipsnyje teigiama, kad kito žodžio numatymas sakinyje yra blogas vaizdas, nes keli gretimi žodžiai dažnai mažai ką pasako apie faktinę pasaulio būseną — tai viena iš priežasčių, kodėl kalbos modeliai silpnai sutampa su vaizdų modelių pasaulio matymu net būdami milžiniški.

Matuojant sutapimą su vaizdų modelių reprezentacijomis, 109 mln. parametrų JEPA, treniruota su gerais vaizdais, surinko 0,184; Alibaba Qwen 2.5 su 72 mlrd. parametrų — 0,154; Meta Llama 3 70B — 0,151. Taigi daugiau nei 600 kartų mažesnis modelis juos pralenkė. Efektyvumas taip pat didesnis: „gerų vaizdų“ metodas pasiekė tą patį sutapimo lygį maždaug su 21,6 mln. treniravimo pavyzdžių, o kito žodžio numatymui prireikė apie 900 mln. — maždaug 42 kartus mažiau pavyzdžių arba apie 14 kartų mažiau teksto.

Kadangi teksto ir vaizdų modeliai gauna tą patį, tik pasuktą žemėlapį, tyrėjai sujungė juos vienu paprastu posūkiu ir gavo sistemą, gebančią aprašyti vaizdus be sudėtingo papildomo apmokymo. Tyrėjas Arjun Jain pakomentavo, kad doktorantūroje jį mokė laikyti neuroninius tinklus alchemija ir LeCun klystančiu, paskui NYU LeCun pakeitė jo nuomonę, o dabar LeCun pateikė tai, ko jų senoji mokykla visada prašė — įrodymą.

Ko straipsnis neįrodo15:33

Autorius pabrėžia, kad antraštės nuėjo per toli: 109 mln. parametrų modelis neįveikė 72 mlrd. parametrų modelio visame kame, tik pagal vieną rodiklį — vidinio supratimo sutapimą su vaizdų modeliais. Jis nebuvo testuotas matematikoje, programavime, esė rašyme ar bendrųjų žinių klausimuose; tai ne pokalbių robotas. Paskyra Continuum Labs pažymėjo, kad pergalė viename benchmarke yra siauresnis teiginys nei mastelio eros pabaiga, o kūrėjas Shruy, kurio įrašas tapo virusinis, pavadino tai stipriu duomenų tašku pasaulio modeliavimo naudai — dideli modeliai gali būti geresni plote, o geresnės architektūros geriau suprasti pasaulį.

Rezultatai dar nepakartoti nepriklausomai, matematika galioja tik specifinėmis sąlygomis. Į klausimą X platformoje, kodėl kalbos modeliai atmetami, jei jie irgi išmoksta pasaulio reprezentacijas, sąžiningas atsakymas esąs toks: išmoksta, tik, pagal šį straipsnį, kur kas neefektyviau. Vienas kritikas rašė, kad JEPA neturi praktinio panaudojimo ir kad LeCun įstrigęs prieš 5 metus vykdytuose tyrimuose; LeCun atsakė, kad žmonės dažniausiai mąsto ne žodžiais, o gyvūnai tikrai nemąsto žodžiais, bet mąsto, ir nukreipė kritikus į naujausius pranešimus bei straipsnius.

Ką reikštų mastelio išplėtimas17:59

Dabartinė strategija — daugiau duomenų, lustų, duomenų centrų ir pinigų; tada laimi turtingiausias. Jei tą patį supratimą galima pasiekti su 42 kartus mažiau duomenų ir šimtus kartų mažesniu modeliu, pasikeičia DI ekonomika: DI galėtų veikti telefone, akiniuose ar robote, o ne duomenų centre, mokymo kaštai kristų, rimtą DI galėtų kurti mažesnės laboratorijos, universitetai ir šalys be trilijoninių biudžetų.

AMI Labs kovą išleido pasaulio modelį su vos 15 mln. parametrų, apmokytą iš vaizdų per kelias valandas viena vaizdo plokšte; kai kuriose valdymo užduotyse jis planavo iki 48 kartų greičiau nei daug didesni pasaulio modeliai. Spalį pridėta hierarchinė versija H-JEPA, prognozuojanti skirtingais laiko masteliais (panašiai kaip žmogus planuoja dieną aukštu lygiu, o kitą žingsnį – žemu); viename navigacijos teste sėkmės rodiklis pakilo nuo 18 % iki 73 %.

Didžiausia pasekmė — robotika. LeCun kartoja, kad neturime robotų, protingų kaip katė: naminė katė su maždaug 800 mln. neuronų puikiai supranta fizinį pasaulį, planuoja sudėtingus veiksmus, įvertina atstumą šokdama ant stalviršio, ir niekada neperskaitė nė žodžio. Šį mėnesį Kolumbijos universiteto, UC Berkeley, Mičigano universiteto ir Nvidia tyrėjai pristatė 3D pasaulio simuliatorių, prognozuojantį, kaip juda audinys ir minkšti objektai, kai robotas juos paliečia; vien simuliacijoje mokyti robotai paskui atliko užduotį realiame pasaulyje, o sistema veikia daugiau nei 50 kadrų per sekundę viena vaizdo plokšte.

Kelias į AGI ir keturi trūkstami elementai20:17

Nvidia konferencijoje LeCun išdėstė keturis svarbius klausimus: kaip priversti mašinas suprasti fizinį pasaulį, kaip suteikti joms nuolatinę atmintį, kaip priversti jas samprotauti ir planuoti. Pastangas priversti LLM samprotauti jis vadina labai supaprastintu požiūriu ir sako, kad jį jaudina dalykai, kuriais bendruomenė susijaudins po 5 metų, nors dabar jie atrodo kaip neaiškus akademinis straipsnis.

Autoriaus nuomone, šis straipsnis pats savaime nėra kelias į AGI — tai viena dėlionės dalis, rodanti, kaip efektyviau suprasti pasaulį, bet neišsprendžianti atminties, samprotavimo ir planavimo. Sujungus pasaulį suprantantį modelį su atmintimi ir planavimu bei pakankamu efektyvumu, gautųsi kažkas kur kas labiau primenančio žmonių ir gyvūnų intelektą. Tai ir yra deklaruojamas AMI Labs tikslas: sistemos, kurios supranta pasaulį, turi nuolatinę atmintį, geba samprotauti ir planuoti, yra saugios ir valdomos.

LeCun taip pat teigia, kad 70 metų DI srityje daryta klaida — manyta, kad mašina, žaidžianti šachmatais ar sprendžianti analizę, yra protinga, nors sunkiausia mašinoms pasirodo tai, kas žmogui lengva: pereiti kambarį ar paimti puodelį.

Platesnės pasekmės: duomenys, burbulas, konkurencija22:53

Pirma, duomenų siena: kokybiško interneto teksto beveik nebeliko, bet vaizdo įrašai, nuotraukos ir jutiklių duomenys praktiškai neriboti — kiekviena kamera, robotas ir automobilis juos gamina nuolat, tad JEPA tipo modeliams siena nustoja būti siena.

Antra, burbulo diskusija: LeCun sako, kad viena prasme burbulo nėra, nes su kalbos modeliais dar galima sukurti labai daug naudingų dalykų ir milijardai žmonių juos naudos, tad investicijos į duomenų centrus neiššvaistytos; bet burbulas yra mintyje, kad dabartinis požiūris bus nuvarytas iki žmogaus lygio intelekto. Jei efektyvūs pasaulio modeliai veiks dideliu mastu, kai kurios šiandieninių statymų prielaidos gali pasikeisti.

Trečia, plug-and-play DI: atskirai apmokyti teksto ir vaizdų modeliai gali būti sujungti vienu posūkiu, nes išmoko tą patį žemėlapį; dideliu mastu tai leistų kurti sistemas iš atskirai apmokytų, tarpusavyje sulimpančių dalių vietoj vieno milžiniško modelio.

Ketvirta, konkurencija: Google DeepMind turi Genie pasaulio modelius, Fei-Fei Li įmonė World Labs rugsėjį pristatė Atlas — „omni pasaulio modelį“, kuriam pakanka kelių nuotraukų, kad sukurtų 3D erdvę su judančia kamera ir simuliuotais robotais; Nvidia turi pasaulio modelius robotams, o Meta tęsia JEPA tyrimus.

AMI Labs tempas ir rizikos24:58

2025 m. lapkritį LeCun ir Balestriero išleido LeJEPA — paprastesnį ir patikimesnį apmokymo būdą, o LeCun paskelbė paliekantis Meta. Gruodį Paryžiuje įkurta AMI Labs, kovą pritraukta daugiau nei milijardas dolerių ir išleistas pasaulio modelis, gegužę paskelbtas tyrimas, įrodantis, kada LeJEPA iš tiesų išmoksta pasaulio modelį, spalį pristatyta H-JEPA, o spalio pabaigoje — aptariamas straipsnis. Tai naujas rezultatas kas porą mėnesių iš maždaug 50–60 tyrėjų komandos, išsibarsčiusios po Paryžių, Niujorką, Monrealį ir Singapūrą.

Autorius primena, kaip Google per maždaug mėnesį iš nurašytųjų tapo numeriu vienu, o mažos Kinijos laboratorijos leidžia su amerikiečių milžinais konkuruojančius modelius: maža komanda su teisinga idėja gali aplenkti šimtą kartų turtingesnes įmones. LeCun pats sako žmonėms nedirbti su generatyviniais modeliais, todėl visi mano jį esant pamišusį, o jis bando būti vienu žingsniu priekyje.

Tačiau viskas gali sugriūti plečiant mastelį. Richo Suttono esė „The Bitter Lesson“ teigia, kad laimi metodai, geriausiai išnaudojantys daugiau skaičiavimo galios, o ne gudrūs sprendimai, ir LLM buvo galutinis to pavyzdys. Gegužę atskiras tyrimas nustatė, kad kelios pasaulio modelių konstrukcijos stebėtinai trapios: nedideli vaizdiniai pokyčiai, pvz., objekto ar fono spalvos keitimas, gerokai blogina rezultatus.

Pati AMI Labs sako esanti tyrimų įmonė, o jos rezultatai — tyrimai, ne produktai; LeCun mano, kad anksčiausi komerciniai pritaikymai bus pramonėje (elektrinių, reaktyvinių variklių, chemijos gamyklų valdymas, kur pasaulio modelis veiktų kaip skaitmeninis dvynys), o vartotojiški produktai ir namų robotai — toliau ateityje. Taip pat didžiosios LLM laboratorijos gali tiesiog pasiskolinti geras idėjas. Nepaisant to, autorius laiko tyrimą daug žadančiu, nes tai ne dar vienas didesnis modelis, o kitokia idėja su matematiniu pagrindimu.

Jis stebės, ar rezultatus pakartos kiti tyrėjai, kas nutiks apmokius kur kas didesnius JEPA modelius ir ar metodas pasirodys tikruose robotuose (tekstas čia nutrūksta).

Dalintis:

Originalas: The AI Godfather Just Proved The Entire AI Industry Wrong (TheAIGRID YouTube kanalas)

Visos 2026 m. lapkričio 5 d. naujienos · Archyvas