Kad dirbtinio intelekto sistemos nuolat tobulėtų, joms reikia patikimo savarankiško savęs tobulinimo mechanizmo arba žmogaus vertintojų, galinčių pastebėti klaidas ir generuoti aukštos kokybės grįžtamąjį ryšį. Pramonė labai daug investavo į pirmąjį. Tai beveik nesusimąsto, kas vyksta antrajam.
Norėčiau teigti, kad žmogaus vertinimo problemą turime spręsti tiek pat griežtai ir investuodami, kiek skiriame paties modelio pajėgumų kūrimui. Didžiosiose technologijų įmonėse priimami nauji absolventai sumažėjo perpus nuo 2019 m. Dokumentų peržiūra, pirmojo praėjimo tyrimas, duomenų valymas, kodo peržiūra: modeliai tai atlieka dabar. Tai stebintys ekonomistai tai vadina perkėlimu. Tai darančios įmonės tai vadina efektyvumu. Nei vienas, nei kitas nesikreipia į ateities problemą.
Kodėl savęs tobulinimas žinių darbe turi ribas
Akivaizdus atstūmimas yra sustiprinimo mokymasis (RL). „AlphaZero“ išmoko „Go“, „šachmatai“ ir „Shogi“ antžmogišku lygiu, neturėdamas žmonių duomenų, ir sukūrė naujas strategijas. „Move 37“ 2016 m. rungtynėse su Lee Sedol – šis žingsnis, profesionalų teigimu, niekada nebūtų žaidęs, kilo ne iš žmogaus anotacijos. Tai atsirado iš AI savarankiško žaidimo.
Tai įgalina aplinkos stabilumas. „Move 37“ yra naujas judėjimas fiksuotos „Go“ būsenos erdvėje. Taisyklės yra išsamios, nedviprasmiškos ir nuolatinės. Dar svarbiau, kad atlygio signalas yra tobulas: laimėk arba pralaimėk, ir nedelsiant, be vietos interpretacijoms. Sistema visada žino, ar ėjimas buvo geras, nes žaidimas galiausiai baigiasi aiškiu rezultatu.
Žinių darbas neturi nė vienos iš šių savybių. Bet kurios profesinės srities taisyklės yra dinamiškos ir nuolat perrašomos jose dirbančių žmonių. Priimami nauji įstatymai. Išrandamos naujos finansinės priemonės. Teisinė strategija, kuri pasiteisino 2022 m., gali žlugti jurisdikcijoje, kuri vėliau pakeitė savo aiškinimą. Ar medicininė diagnozė buvo teisinga, gali būti nežinoma daugelį metų. Be stabilios aplinkos ir nedviprasmiško apdovanojimo signalo negalite uždaryti kilpos. Norint tęsti modelio mokymą, vertinimo grandinėje reikia žmonių.
Formavimo problema
Šiandien kuriamos AI sistemos buvo apmokytos remiantis žmonių, kurie išgyveno būtent tą formavimąsi, patirtimi. Dabar skirtumas yra tas, kad pradinio lygio darbai, kuriuose plėtojama tokia kompetencija, pirmiausia buvo automatizuoti. Tai reiškia, kad naujos kartos potencialūs ekspertai nesikaupia savotiškas nuosprendis dėl to žmogus vertintojas yra vertas dėmesio.
Istorija turi pavyzdžių, kai žinios miršta. Romėniškas betonas. Gotikinės statybos technikos. Matematinės tradicijos, kurioms atkurti prireikė šimtmečių. Tačiau kiekvienu istoriniu atveju priežastis buvo išorinė: maras, užkariavimai, žinią talpinusių institucijų žlugimas. Čia kas kita, kad nereikia jokios išorinės jėgos. Laukai gali atrofuotis ne dėl katastrofos, o nuo tūkstančio individualiai racionalių ekonominių sprendimų, kurių kiekvienas yra protingas atskirai. Tai naujas mechanizmas, ir mes neturime daug praktikos jį atpažinti, kol tai vyksta.
Kai tylu ištisi laukai
Logiška, kad tai ne tik vamzdyno problema. Tai yra pačios ekspertizės paklausos žlugimas.
Apsvarstykite pažangiąją matematiką. Jis neatrofuojasi, nes nustojame ruošti matematikus. Ji atrofuojasi, nes organizacijoms nebereikės matematikų kasdieniam darbui, dingsta ekonominė paskata tokiais tapti, mažėja žmonių, galinčių daryti paribius matematinius samprotavimus, populiacija, o srities gebėjimas kurti naujas įžvalgas tyliai žlunga. Ta pati logika galioja ir kodavimui. Mūsų klausimas yra ne „ar AI parašys kodą“, o „jei AI parašys visą gamybos kodą, kas išvysto gilią architektūrinę intuiciją, kuri sukuria tikrai naują sistemų dizainą?
Yra esminis skirtumas tarp lauko automatizavimo ir lauko suprantamo. Šiandien galime automatizuoti didžiulę konstrukcijų inžinerijos dalį, tačiau abstrakčios žinios apie tai, kodėl tam tikri požiūriai veikia, gyvena žmonių galvose, kurie daugelį metų tai padarė neteisingai. Jei pašalinsite praktiką, neprarasite tik praktikų. Jūs prarandate gebėjimą žinoti, ką praradote.
Pažangioji matematika, teoriniai kompiuterių mokslai, gilus teisinis samprotavimas, sudėtingų sistemų architektūra: kai paskutinis žmogus, giliai išmanantis algebros poskyrį, išeina į pensiją ir niekas jo nepakeičia, nes išseko finansavimas ir dingo karjeros kelias, greičiausiai tos žinios nebus greitai atrastos.
dingo. Ir niekas nepastebi, nes jų darbo apmokyti modeliai dar dešimtmetį puikiai atlieka etalonus. Manau, kad tai yra tuščiaviduris: paviršinis pajėgumas išlieka (modeliai vis tiek gali sukurti profesionaliai atrodančius rezultatus), o pagrindiniai žmogaus gebėjimai patvirtinti, išplėsti ar pataisyti tą patirtį tyliai išnyksta.
Kodėl rubrikos visiškai nepakeičia
Dabartinis metodas yra vertinimas pagal rubriką. Konstitucinis AI, sustiprintas mokymasis iš AI grįžtamojo ryšio (RLAIF) ir struktūriniai kriterijai, leidžiantys modeliams įvertinti modelius, yra rimti metodai, reikšmingai mažinantys priklausomybę nuo vertintojų. Aš jų neatmetu.
Jų apribojimas yra toks: rubrika gali užfiksuoti tik tai, ką ją parašęs asmuo žinojo, kaip išmatuoti. Stipriai optimizuokite jį ir gausite modelį, kuris labai gerai atitinka rubriką. Tai nėra tas pats, kas iš tikrųjų tinkamas modelis.
Rubrikos padidina aiškią, artikuliuojamą sprendimo dalį. Gilesnė dalis, instinktas, jausmas, kad kažkas neveikia, netelpa į rubriką. Negalite to užsirašyti, nes pirmiausia turite tai patirti, kad žinotumėte, ką rašyti.
Ką tai reiškia praktiškai
Tai nėra argumentas sulėtinti plėtrą. Pajėgumų padidėjimas yra tikras. Ir gali būti, kad mokslininkai ras būdų, kaip uždaryti vertinimo kilpą be žmogaus sprendimo. Galbūt sintetiniai duomenų vamzdynai bus pakankamai geri. Galbūt modeliai sukuria patikimus savitaisos mechanizmus, kurių mes dar neįsivaizduojame.
Bet šiandien tokių neturime. O kol kas išardome žmogiškąją infrastruktūrą, kuri šiuo metu užpildo spragą ne kaip apgalvotas sprendimas, o kaip tūkstančio racionalių sprendimų šalutinis produktas. Atsakinga šio perėjimo versija nėra manyti, kad problema išsispręs savaime. Vertinimo spragą traktuoti kaip atvirą tyrimo problemą taip pat skubiai, kaip ir pajėgumų didinimui.
Tai, ko dirbtinis intelektas žmonėms labiausiai reikia, yra tas, kurio išsaugojimui mažiausiai dėmesio skiriame. Nesvarbu, ar tai visam laikui tiesa, ar laikinai, jos ignoravimo kaina yra tokia pati.
Ahmadas Al-Dahle yra „Airbnb“ techninis vadovas.
