← Visos naujienos

OpenAI atsako į klausimus apie GPT-Live: pilnas dupleksas, delegavimas ir custom balsai

ModeliaiŠaltinis: OpenAI YouTube kanalas·
OpenAI atsako į klausimus apie GPT-Live: pilnas dupleksas, delegavimas ir custom balsai

OpenAI paaiškino, kuo GPT-Live skiriasi nuo GPT Realtime: modelis gali vienu metu klausytis ir kalbėti (full duplex), todėl geriau atskiria pritarimą nuo pertraukimo, o sudėtingesnį darbą deleguoja backend modeliui, kurį galima keisti nepriklausomai. Aptartas triukšmingos aplinkos valdymas per prompt'ą, nauji balsai skirtingomis kalbomis bei custom balsų kūrimas iš teksto aprašymo arba įrašo. Kaip naudotojai minimi Yelp, Fin, Speak ir Cognition (balsas Devin agentui); taip pat atnaujintos delegavimo prompt'ų gairės — GPT-Live prompt'as turi būti trumpas, o procedūros aprašomos backend pusėje.

Pilna santrauka

Klausimų ir atsakymų sesija0:00

Vaizdo įraše OpenAI atstovė Aarti atsako į bendruomenės klausimus apie GPT-Live modelių seriją.

Balso modelių raida iki GPT-Live0:00

Pirmas klausimas (nuo Herfstvalt) – kuo GPT-Live skiriasi nuo gpt-realtime-2.1. Atsakydama ji apžvelgia balso modelių raidą. Pirmoji karta veikė kaip vadinamoji kaskadinė sistema – trys sujungti modeliai: kalbos atpažinimas į tekstą, po to kalbos modelis (pavyzdžiui, 6.1 Sol), kuris samprotauja ir generuoja atsakymą, ir galiausiai teksto vertimas į kalbą. Kiekvienas žingsnis pridėdavo vėlinimo, todėl atsakymai atrodydavo lėti ir nerišlūs. Antroji karta – GPT Realtime – visa tai sujungė į vieną modelį, gebantį apdoroti ir generuoti garsą, samprotauti ir nuspręsti, kada bei kaip kviesti įrankius.

Kadangi tai speech-to-speech modelis, atsakymai greitesni ir natūralesni, tačiau sistema vis tiek iš esmės veikia eilėmis (turn-based): modelis turi nuspręsti, kada naudotojas baigė kalbėti, todėl sunku atskirti paprastą pritarimą („mhm“) nuo tikro pertraukimo ir pataisymo.

Full duplex ir delegavimas1:02

GPT-Live serija turi du esminius architektūrinius pokyčius. Pirma, ji gali klausytis ir kalbėti vienu metu – tai vadinama full duplex – todėl geriau supranta, ar naudotojas tiesiog palydi pokalbį pritarimais, ar iš tikrųjų pertraukia; pokalbis tampa natūralesnis. Antra – delegavimas. Jeigu Realtime atveju tas pats modelis ir tvarkė garsą, ir sprendė dėl įrankių, tai GPT-Live atveju atsakomybės padalintos: GPT-Live modelis veda pokalbį, o sudėtingesnį darbą deleguoja backend modeliui ar sistemai.

Privalumai: backend modelį galima pakeisti naujesne karta, kai tokia pasirodo, o jau turimas tekstines aplikacijas galima papildyti GPT-Live ir taip pridėti balso patirtį.

Triukšmas ir keli kalbantys2:04

Antras klausimas (AChillBear) – kaip modelis susitvarko, kai kalba keli žmonės arba aplinka triukšminga. Pasak Aarti, čia GPT-Live ypač stiprus: ankstesni eilėmis paremti modeliai klupdavo dėl foninio triukšmo, nes bandydavo nustatyti, ar naudotojas kalba. GPT-Live ne tik nustato, ar kažkas kalba, bet ir pasitelkia pokalbio kontekstą, kad nuspręstų, ar nutilti, ar įsiterpti. Elgseną galima valdyti prompt'u – pavyzdžiui, nurodyti ignoruoti pašalinius pokalbius ir atsakyti tik tada, kai kreipiamasi tiesiogiai; tada modelis tiesiog klausosi ir įsiterpia tik prireikus.

Panaudojimo pavyzdžiai: Yelp, Devin3:06

Trečias klausimas (Eblien) – kam tai naudojama. Minimi pavyzdžiai: Yelp priima skambučius dėl staliukų rezervacijų ir maisto užsakymų, Fin naudoja klientų aptarnavimui, Speak – gyvoms kalbų pamokoms, Cognition prideda balsą savo dirbtinio intelekto programinės įrangos inžinieriui Devin. Paminėta neseniai vykusi Build Hour sesija su Cognition, kurios nuorodą siūloma rasti po vaizdo įrašu.

Balsai, akcentai ir tarimas3:36

Ketvirtas klausimas (ezzoelyas) – kuriamas prancūziškas balso agentas, problema su tarimu ir akcentu; ar tobulinti prompt'ą su esamais API balsais, ar rinktis custom balsą. Po to klausimo buvo išleista daug naujų balsų skirtingomis kalbomis ir su skirtingais regioniniais atspalviais, tarp jų du prancūziški – Brise ir Sillage, kurie įraše pademonstruojami. Custom balsą galima susikurti dviem būdais: prompt to voice, kai natūralia kalba aprašomas akcentas, tonas ir tempas, arba iš įrašo – žinoma, su kalbančiojo sutikimu. Prompt'u papildomai galima valdyti tempą, asmenybę, formalumo lygį ir tai, kaip tariami tam tikri žodžiai.

Kai modelis nedeleguoja4:39

Penktas klausimas (matteo89) – GPT-Live 1 per WebSocket su responses-mode delegavimu kartais visai nedeleguoja: žodžiu pažada, bet užklausa nepasiekia backend'o. Atsakymas: pats GPT-Live prompt'as turi būti trumpas – modeliui reikia žinoti tik kada deleguoti, o kada ne; įrankių detalės ir visa darbo procedūra turi būti aprašytos backend prompt'e. Reikia labai aiškiai nurodyti delegavimo sąlygas. Neseniai atnaujintos GPT-Live 1 prompt'ų gairės: modelis geriau veikia su specialiu SpawnThinking tokenu (tai taikoma tik GPT-Live 1, todėl rekomenduojama tikrinti naudojamo modelio dokumentaciją).

Taip pat galima stebėti transkriptą naudojant Decisions triggers – tai natyvi GPT-Live ir Decisions API integracija, teikianti beveik realaus laiko atsakymus į klausimus su iš anksto apibrėžtais atsakymų variantais. Vienas iš klausimų gali būti „ar dabar reikėtų deleguoti?“, ir jei Decisions API nusprendžia, kad taip, o GPT-Live to nepadarė, galima delegavimą priverstinai iššaukti.

Per dažnas delegavimas ir parametrai6:12

Šeštas klausimas (melindacr) – migruojant telefoninį agentą klientų priėmimui ir vizitų rezervacijoms iš gpt-realtime-1.5 į GPT-Live, kaip tvarkyti įrankių kvietimų parametrų sąrašus ir kaip modelis turėtų žinoti, kokius parametrus rinkti, pernelyg nedeleguodamas. Tai priešinga ankstesnei problemai – čia siekiama išvengti per dažno delegavimo. Rekomenduojama naudoti client delegation.

Pavyzdys: jei vizitui užregistruoti reikia vardo, datos, laiko ir adreso, backend'as gali siųsti atnaujinimus su kontekstu – commentary lauke nurodyti artimiausią klausimą („paklausk naudotojo vardo“), o thinking atnaujinime išvardyti visus reikalingus duomenis: po vardo klausti datos, laiko ir adreso ir nedeleguoti, kol jie nesurinkti. Galima pridėti ir reikalavimą prieš deleguojant patvirtinti laukus su naudotoju.

Konteksto valdymas ilguose pokalbiuose7:46

Septintas klausimas (anatRvz) – migruojant iš GPT Realtime trūksta aiškumo, kaip valdyti konteksto „smegenų“ pusėje: balso modelio konteksto kompakcija tvarkoma OpenAI pusėje, bet kiekvienas kreipimasis į backend modelį gauna visą pokalbio istoriją, o ilguose pokalbiuose tai gali išpūsti kontekstą ir sumažinti intelektą. Atsakymas: balso modelio kompakcija vykdoma automatiškai, tačiau kritinę informaciją, kurią reikia išsaugoti, rekomenduojama laikyti pačioje aplikacijoje, nes kompakcijos metu kai kurios svarbios detalės gali dingti.

Delegavimo būdai du: integruotas delegavimas per Responses arba Decisions, kai integracija pati surenka kontekstą ir perduoda jį backend'ui, arba client delegation, jei reikia smulkmeniškiau kontroliuoti, koks kontekstas perduodamas backend'ui ir kokie atnaujinimai grąžinami GPT-Live.

Dalintis:

Originalas: Answering your questions about GPT-Live (OpenAI YouTube kanalas)

Visos 2026 m. lapkričio 10 d. naujienos · Archyvas