OpenAI inžinierė demonstruoja, kaip „dot“ agentas renka atsiliepimus ir ieško klaidų

OpenAI inžinierė Rennie Song parodo, kaip jos „dot“ agentas Benny renka naudotojų atsiliepimus iš Twitter, Reddit ir vidinių kanalų, pildo gyvą lentelę ChatGPT Space puslapyje ir pagal komentarą ar pokalbį telefonu pradeda tyrimo giją Codex. Agentas įvardijo pagrindines problemų grupes (tylūs užstrigimai, ryšio sutrikimai, konteksto praradimas), pridėjo 15 naujų įrašų į sekimo lentelę ir patvirtino vieną backend gedimą, kuriam jau rengiamas PR. Pavyzdys rodo, kaip agentai įtraukiami į kasdienį produkto palaikymo ir derinimo ciklą.
Pilna santrauka
Benny – atsiliepimų srauto agentas0:00
Rennie Song, inžinierius, dirbantis prie Dots, vaizdo įraše demonstruoja, kaip naudoja savo asmeninį dot agentą, pavadintą Benny, visam atsiliepimų apie Dots srautui rinkti, kategorizuoti ir apdoroti. Atsiliepimai ateina tiek iš išorės — Twitter ir Reddit, tiek iš vidaus — Slack ir product ops komandų.
Darbas puslapyje ir užduoties pavedimas0:30
Benny jau būna susikūręs atskirą erdvę (Space) visiems su dot susijusiems reikalams, o joje — atskirą puslapį vien atsiliepimams. Rennie pabrėžia, kad puslapiai su dot patogūs dėl padalinto ekrano: galima visiškai pritaikyti, kaip nori matyti agento atliekamą darbą. Jis pageidavo, kad viskas būtų suskirstyta į kategorijas, pažymėta spalvomis ir sudėta į lentelę.
Vaizdo įraše Rennie paprašo atnaujinti išorinių atsiliepimų sekiklį naujausiais įrašais iš Reddit ir Twitter, o tada pasirenka vieną konkrečią problemą — nutrūkusius kompiuterio ryšius ir Bad Gateway prisijungimo klaidas — ir tiesiog puslapyje parašo komentarą, pažymėdamas @Benny su prašymu ištirti tai cloud thread'e ir padėti nustatyti pagrindinę priežastį. Tuo metu rodoma, ką Benny daro savo paties kompiuteryje: jis naršo Twitteryje, ieškodamas tos dienos tweetų, kuriuose minimi Dots ir OpenAI.
Telefono pokalbis: trys problemų kategorijos1:31
Toliau Rennie paskambina savo dot telefonu. Pokalbyje jis prašo įvardyti pagrindines išorinių atsiliepimų temas ir kategorijas, kuriose per pastarąsias dvi dienas daugiausia problemų. Benny išskiria tris pagrindines grupes: tylius užstrigimus, ryšio problemas ir tęstinumo (konteksto išlaikymo) klausimus. Konkretūs pavyzdžiai — dots, kurie praneša, kad dirba, bet niekada nebaigia darbo; nutrūkstantys nešiojamųjų kompiuterių ryšiai; prarandamas kontekstas pereinant nuo balso pokalbio prie Codex.
Benny sako, kad ryšiai ir integracijos yra didžiausia kategorija, tačiau sąžiningai pažymi neturintis tikslios suvestinės būtent apie pastarąsias dvi dienas, todėl nesiima teigti tikslaus reitingo. Vis dėlto jis siūlo pirmiausia imtis tylių užstrigimų, nes žmonės praranda pasitikėjimą, kai agentas tiesiog nutyla.
Tylūs užstrigimai ir pasisveikinimo klaida2:32
Rennie sutinka, kad tylūs užstrigimai atrodo skubiausia problema, ir prašo paleisti cloud thread, pabandyti rasti pagrindinę priežastį bei galimą sprendimą, pridurdamas, kad nebūtina išspręsti visko — užtektų ir kelių atskirų tylių užstrigimų priežasčių. Taip pat jis klausia, kokia paprasčiausia problema galėtų būti išspręsta iškart. Benny atsako, kad lengviausia — pasisveikinimo (greeting) modelio klaida: kai naujas dot prašo modelio, prie kurio vartotojas neturi prieigos, jis nulūžta ir užblokuoja kūrimą, nors galėtų tiesiog grįžti prie modelio, kurį vartotojas gali naudoti.
Rennie paveda sukurti cloud thread ir tam bei paruošti PR, kai bus pasiruošęs, ir paprašo pranešti, kai bus baigtas darbas su atsiliepimais.
Rezultatai: 210 įrašų, patvirtinta klaida4:04
Baigdamas Rennie peržiūri rezultatus ir pabrėžia, kad Benny tarsi vedžioja jį per visą savo tyrimo procesą: matomi visi komentarai, o galutinis kodo tyrimas nustatė patvirtintą backend pasisveikinimo klaidą — tą pačią, apie kurią kalbėta telefonu; be to, agentas pats suprato, kad jau rengiamas PR, kuris ją ištaisys. Atsiliepimų sekiklis atnaujintas: pridėta 15 naujų įrašų, iš viso jų dabar 210. Tylių užstrigimų tyrimas nustatė vieną konkretų gedimo scenarijų, o Benny pridėjo tyrimo laiko juostą, kad Rennie galėtų ją peržiūrėti.
Rennie apibendrina, kad per vieną rytą pavyko perduoti agentui daug darbo — tiesiog pažymint jį puslapyje arba kalbant telefonu — ir kad dėl prieigos prie Dots jaučiamas didelis pagreitėjimas; jis tikisi, kad ateityje bus matoma dar daugiau progreso ir patobulinimų.
Originalas: Hunt bugs with your dot (OpenAI YouTube kanalas)