<\/span><\/h2>\n\n\n\nARC-AGI etalonas yra pagr\u012fstas Abstract Reasoning Corpus, kuris tikrina AI sistemos geb\u0117jim\u0105 prisitaikyti prie nauj\u0173 u\u017eduo\u010di\u0173 ir parodyti skland\u0173 intelekt\u0105. ARC sudaro vaizdiniai galvos\u016bkiai, kuriems reikia suprasti pagrindines s\u0105vokas, tokias kaip objektai, ribos ir erdviniai ry\u0161iai. Nors \u017emon\u0117s gali lengvai i\u0161spr\u0119sti ARC galvos\u016bkius, demonstruodami labai nedaug, dabartin\u0117s AI sistemos su jais kovoja. ARC ilg\u0105 laik\u0105 buvo laikoma viena i\u0161 sud\u0117tingiausi\u0173 AI priemoni\u0173. <\/p>\n\n\n\nARC galvos\u016bkio pavyzdys (\u0161altinis: arcprize.org)<\/em><\/figcaption><\/figure>\n\n\n\nARC buvo sukurtas taip, kad jo neb\u016bt\u0173 galima apgauti modeliuojant milijonus pavyzd\u017ei\u0173, tikintis apr\u0117pti visus \u012fmanomus galvos\u016bki\u0173 derinius. <\/p>\n\n\n\n
Etalon\u0105 sudaro vie\u0161as mokymo rinkinys, kuriame yra 400 paprast\u0173 pavyzd\u017ei\u0173. Mokymo rinkin\u012f papildo vie\u0161as vertinimo rinkinys, kuriame yra 400 galvos\u016bki\u0173, kurie yra sud\u0117tingesni kaip priemon\u0117 \u012fvertinti AI sistem\u0173 apibendrinim\u0105. \u201eARC-AGI Challenge\u201c yra priva\u010di\u0173 ir pusiau priva\u010di\u0173 test\u0173 rinkini\u0173, kuri\u0173 kiekviename yra 100 galvos\u016bki\u0173, kurie n\u0117ra bendrinami su visuomene. Jie naudojami siekiant \u012fvertinti kandidat\u0173 dirbtinio intelekto sistemas, nerizikuojant, kad duomenys bus nutekinti visuomenei ir u\u017eter\u0161t\u0173 b\u016bsimas sistemas i\u0161ankstin\u0117mis \u017einiomis. Be to, var\u017eybose nustatomi skai\u010diavimo limitai, kuriuos dalyviai gali naudoti siekdami u\u017etikrinti, kad galvos\u016bkiai neb\u016bt\u0173 sprend\u017eiami \u017eiaurios j\u0117gos metodais.<\/p>\n\n\n\n
<\/span>Prover\u017eis sprend\u017eiant naujas u\u017eduotis<\/span><\/h2>\n\n\n\no1-per\u017ei\u016bra ir o1 surinko daugiausiai 32 % ARC-AGI. Kitas metodas, kur\u012f suk\u016br\u0117 tyr\u0117jas Jeremy Bermanas, naudojo hibridin\u012f metod\u0105, sujungiant Claude 3.5 Sonnet su genetiniais algoritmais ir kodo interpretatoriumi, kad b\u016bt\u0173 pasiektas 53%, auk\u0161\u010diausias balas prie\u0161 o3.<\/p>\n\n\n\n
Tinklara\u0161\u010dio \u012fra\u0161e Fran\u00e7ois Chollet, ARC k\u016br\u0117jas, apib\u016bdino o3 na\u0161um\u0105 kaip \u201estebinant\u012f ir svarb\u0173 dirbtinio intelekto galimybi\u0173 padid\u0117jim\u0105, parodant\u012f naujus u\u017eduo\u010di\u0173 pritaikymo geb\u0117jimus, kuri\u0173 dar nebuvo GPT \u0161eimos modeliuose\u201c.<\/p>\n\n\n\n
Svarbu pa\u017eym\u0117ti, kad naudojant daugiau skai\u010diavimo ankstesni\u0173 kart\u0173 modeliuose \u0161i\u0173 rezultat\u0173 nepavyko pasiekti. Atsi\u017evelgiant \u012f kontekst\u0105, prireik\u0117 4 met\u0173, kol modeliai pager\u0117jo nuo 0 % su GPT-3 2020 m. iki tik 5 % su GPT-4o 2024 m. prad\u017eioje. Nors mes ma\u017eai \u017einome apie o3 architekt\u016br\u0105, galime b\u016bti tikri, kad ne eil\u0117mis didesnis u\u017e savo pirmtakus.<\/p>\n\n\n\n\u012evairi\u0173 modeli\u0173 veikimas ARC-AGI (\u0161altinis: arcprize.org)<\/em><\/figcaption><\/figure>\n\n\n\n\u201eTai ne tik laipsni\u0161kas patobulinimas, bet ir tikras prover\u017eis, \u017eymintis kokybin\u012f AI galimybi\u0173 pokyt\u012f, palyginti su ankstesniais LLM apribojimais\u201c, \u2013 ra\u0161\u0117 Chollet. \u201eo3 yra sistema, galinti prisitaikyti prie u\u017eduo\u010di\u0173, su kuriomis ji niekada anks\u010diau nesusid\u016br\u0117 ir, be abejo, art\u0117ja prie \u017emogaus lygio na\u0161umo ARC-AGI srityje.<\/p>\n\n\n\n
Verta pamin\u0117ti, kad o3 na\u0161umas naudojant ARC-AGI kainuoja labai brangiai. Ma\u017eo skai\u010diavimo konfig\u016bracija modeliui kainuoja 17\u201320 USD ir 33 milijonus \u017eeton\u0173, kad i\u0161spr\u0119st\u0173 kiekvien\u0105 galvos\u016bk\u012f, o esant dideliam skai\u010diavimo biud\u017eetui, modelis sunaudoja ma\u017edaug 172 kartus daugiau skai\u010diavim\u0173 ir milijardus \u017eeton\u0173 kiekvienai problemai. Ta\u010diau, kadangi i\u0161vad\u0173 ka\u0161tai ir toliau ma\u017e\u0117ja, galime tik\u0117tis, kad \u0161ie skai\u010diai taps pagr\u012fstesni.<\/p>\n\n\n\n
<\/span>Nauja LLM samprotavim\u0173 paradigma?<\/span><\/h2>\n\n\n\nRaktas sprend\u017eiant naujas problemas yra tai, k\u0105 Chollet ir kiti mokslininkai vadina \u201eprogram\u0173 sinteze\u201c. M\u0105stymo sistema tur\u0117t\u0173 tur\u0117ti galimyb\u0119 sukurti ma\u017eas programas, skirtas labai specifin\u0117ms problemoms spr\u0119sti, tada sujungti \u0161ias programas, kad i\u0161spr\u0119st\u0173 sud\u0117tingesnes problemas. Klasikiniai kalb\u0173 modeliai sukaup\u0117 daug \u017eini\u0173 ir turi daug vidini\u0173 program\u0173. Ta\u010diau jiems tr\u016bksta kompozicijos, o tai neleid\u017eia jiems i\u0161siai\u0161kinti galvos\u016bki\u0173, kurie n\u0117ra treniruojami.<\/p>\n\n\n\n
Deja, informacijos apie tai, kaip o3 veikia po gaubtu, yra labai ma\u017eai, ir \u010dia mokslinink\u0173 nuomon\u0117s i\u0161siskiria. Chollet sp\u0117ja, kad o3 naudoja tam tikro tipo program\u0173 sintez\u0119, kuri naudoja m\u0105stymo grandin\u0117s (CoT) samprotavimus ir paie\u0161kos mechanizm\u0105 kartu su atlygio modeliu, kuris \u012fvertina ir patobulina sprendimus modeliui generuojant \u017eetonus. Tai pana\u0161u \u012f tai, k\u0105 atvirojo kodo samprotavimo modeliai tyrin\u0117jo pastaruosius kelis m\u0117nesius. <\/p>\n\n\n\n
Kiti mokslininkai, tokie kaip Nathanas Lambertas i\u0161 Alleno dirbtinio intelekto instituto, teigia, kad \u201eo1 ir o3 i\u0161 tikr\u0173j\u0173 gali b\u016bti tik vienos kalbos modelio per\u0117jimai \u012f priek\u012f\u201c. T\u0105 dien\u0105, kai buvo paskelbta apie o3, OpenAI tyr\u0117jas Natas McAleese’as X paskelb\u0117, kad o1 yra \u201etiesiog LLM, apmokytas RL. o3 maitinamas toliau didinant RL u\u017e o1.<\/p>\n\n\n\nT\u0105 pa\u010di\u0105 dien\u0105 Denny Zhou i\u0161 \u201eGoogle DeepMind\u201c samprotavimo komandos pavadino paie\u0161kos ir dabartinio sustiprinimo mokymosi metod\u0173 derin\u012f \u201eaklaviete\u201c. <\/p>\n\n\n\n
\u201eGra\u017eiausias LLM samprotavim\u0173 dalykas yra tai, kad m\u0105stymo procesas generuojamas autoregresiniu b\u016bdu, o ne pasikliaujant paie\u0161ka (pvz., mcts) kartos erdv\u0117je, nesvarbu, ar tai b\u016bt\u0173 gerai sureguliuotas modelis, ar kruop\u0161\u010diai suprojektuotas raginimas\u201c, \u2013 paskelb\u0117 jis. ant X.<\/p>\n\n\n\nNors detal\u0117s apie tai, kaip o3 prie\u017eastys gali atrodyti nereik\u0161mingos, palyginti su ARC-AGI prover\u017eiu, ji gali labai gerai apibr\u0117\u017eti kit\u0105 paradigmos pokyt\u012f mokant LLM. \u0160iuo metu vyksta diskusijos, ar LLM mastelio keitimo naudojant mokymo duomenis ir skai\u010diavimus \u012fstatymai atsitrenk\u0117 \u012f sien\u0105. Ar bandymo laiko mastelio keitimas priklauso nuo geresni\u0173 mokymo duomen\u0173 ar skirting\u0173 i\u0161vad\u0173 architekt\u016br\u0173, gali nustatyti kit\u0105 keli\u0105.<\/p>\n\n\n\n