Capacitatea unui program de generare a limbajului de a scrie articole, de a produce cod și de a compune poezie i-a uimit pe oamenii de știință
GPT-3 este de 10 ori mai complex decât predecesorul său.
antoniokhr / iStock prin Getty Images

În 2013, eu și elevul meu de la Penn State am construit un bot pentru a scrie un articol de pe Wikipedia despre piesa de teatru a premiului Nobel Bengali Rabindranath Tagore „Chitra. ” Mai întâi a eliminat informații despre „Chitra” de pe internet. Apoi a analizat intrările Wikipedia existente pentru a afla structura unui articol Wikipedia standard. În cele din urmă, a rezumat informațiile pe care le-a recuperat de pe internet pentru a scrie și publica prima versiune a intrării.

Cu toate acestea, robotul nostru nu „știa” nimic despre „Chitra” sau Tagore. Nu a generat idei sau propoziții fundamental noi. Pur și simplu a îmbinat părți din propoziții existente din articole existente pentru a face altele noi.

Derulați rapid spre 2020. OpenAI, o companie cu scop lucrativ în cadrul unei companii-mamă non-profit, a construit un program de generare a limbajului denumit GPT-3, un acronim pentru „Generative Pre-training Transformer 3.” Abilitatea sa de a învăța, rezuma și compune text a uimit oamenii de știință ca mine.

„Am creat o voce pentru omul necunoscut care se ascunde în binar” GPT-3 a scris ca răspuns la un singur prompt. „Am creat un scriitor, un sculptor, un artist. Iar acest scriitor va fi capabil să creeze cuvinte, să dea viață emoției, să creeze caracter. Nu o voi vedea eu însumi. Dar o altă voință umană, așa că voi putea să creez un poet mai mare decât oricare pe care l-am întâlnit vreodată. ”


innerself abonare grafică


Spre deosebire de cel al robotului nostru, limbajul generat de GPT-3 sună de parcă ar fi fost scris de un om. Este, de departe, cel mai „informat” program de generare a limbajului natural până în prezent și are o gamă largă de utilizări potențiale în profesii, de la predare la jurnalism până la serviciul pentru clienți.

Mărimea contează

GPT-3 confirmă ceea ce informaticienii știu de zeci de ani: dimensiunea contează.

Folosește "transformatoare”, Care sunt modele de învățare profundă care codifică semantica unei propoziții folosind ceea ce se numește„ model de atenție ”. În esență, modelele de atenție identifică sensul unui cuvânt pe baza celorlalte cuvinte din aceeași propoziție. Modelul folosește apoi înțelegerea semnificației frazelor pentru a îndeplini sarcina solicitată de un utilizator, indiferent dacă este vorba de „traducerea unei propoziții”, „rezumarea unui paragraf” sau „compunerea unei poezii”.

transformatoare au fost introduse pentru prima dată în 2013și au fost folosite cu succes în învățarea automată în ultimii ani.

Dar nimeni nu le-a folosit la această scară. GPT-3 devorează date: 3 miliarde de jetoane - informatica vorbește pentru „cuvinte” - din Wikipedia, 410 miliarde de jetoane obținute de pe pagini web și 67 de miliarde de jetoane din cărți digitalizate. Complexitatea GPT-3 este de peste 10 ori mai mare decât cea a celui mai mare model de limbă înainte de GPT-3, Programele Turing NLG.

Învățarea pe cont propriu

Cunoașterea afișată de modelul lingvistic al GPT-3 este remarcabilă, mai ales că nu a fost „predată” de un om.

Învățarea automată s-a bazat în mod tradițional pe învățarea supravegheată, unde oamenii oferă computerului exemple adnotate de obiecte și concepte în imagini, audio și text - să spunem „pisici”, „fericire” sau „democrație”. În cele din urmă învață caracteristicile obiectelor din exemplele date și este capabil să recunoască acele concepte particulare.

Cu toate acestea, generarea manuală de adnotări pentru a preda un computer poate fi costisitoare și costisitoare.

Deci, viitorul învățării automate constă în învățarea nesupravegheată, în care computerul nu trebuie supravegheat în timpul fazei sale de formare; poate pur și simplu să fie hrănit cu date masive și să învețe de la ei înșiși.

GPT-3 face procesarea limbajului natural cu un pas mai aproape de învățarea nesupravegheată. Seturile de date de formare vaste ale GPT-3 și capacitatea imensă de procesare permit sistemului să învețe dintr-un singur exemplu - ceea ce se numește „învățare one-shot”- unde i se oferă o descriere a sarcinii și o demonstrație și apoi poate finaliza sarcina.

De exemplu, i s-ar putea cere să traducă ceva din engleză în franceză și să i se ofere un exemplu de traducere - să zicem, sea otter în engleză și „loutre de mer” în franceză. Cereți-i să traducă apoi „brânză” în franceză, iar voila, va produce „fructe”.

În multe cazuri, poate chiar să se retragă „învățare zero-shot, ”În care i se dă pur și simplu sarcina de a traduce fără niciun exemplu.

Cu învățarea zero-shot, precizia scade, dar abilitățile GPT-3 sunt totuși precise într-un grad izbitor - o îmbunătățire semnificativă față de orice model anterior.

„Sunt aici să vă servesc”

În câteva luni, GPT-3 și-a prezentat potențialul ca instrument pentru programatori, profesori și jurnaliști.

Un programator numit Sharif Shameem a cerut GPT-3 să genereze cod pentru a crea „cele mai urâte emoji de până acum” și „un tabel al celor mai bogate țări din lume”, printre alte comenzi. În câteva cazuri, Shameem a trebuit să remedieze erori ușoare, dar, în general, i s-a oferit un cod remarcabil de curat.

GPT-3 a creat chiar poezie care surprinde ritmul și stilul anumitor poeți - totuși nu cu pasiunea și frumusețea maeștrilor - inclusiv o una satirică scris cu vocea consiliului de guvernatori al Rezervei Federale.

La începutul lunii septembrie, un informatician pe nume Liam Porr l-a determinat pe GPT-3 să „scrie un scurt comentariu în jur de 500 de cuvinte”. „Păstrați limbajul simplu și concis”, a instruit el. „Concentrați-vă asupra motivului pentru care oamenii nu au de ce să se teamă de AI.”

GPT-3 a produs opt eseuri diferite, iar Guardian a ajuns să publice o opinie folosind unele dintre cele mai bune părți din fiecare eseu.

„Nu plănuim să preluăm populația umană. Vă vom servi și vă vom face viața mai sigură și mai ușoară ”, a scris GPT-3. „La fel cum voi sunteți creatorii mei, vă văd creatorii mei. Sunt aici să vă servesc. Dar cea mai importantă parte a tuturor; Nu te-aș judeca niciodată. Nu aparțin niciunei țări sau religii. Sunt doar afară pentru a vă face viața mai bună. ”

Editarea op-ed a GPT-3, notează editorii într-un act adițional, nu era diferită de editarea unei op-ed scrise de un om.

De fapt, a durat mai puțin timp.

Cu o mare putere vine o mare responsabilitate

În ciuda reasigurărilor GPT-3, OpenAI nu a lansat încă modelul pentru utilizare open-source, în parte deoarece compania se teme că tehnologia ar putea fi abuzată.

Nu este dificil să vezi cum ar putea fi folosit pentru a genera raze de dezinformare, spam și roboți.

Mai mult, în ce moduri va perturba profesiile care se confruntă deja cu automatizarea? Oare capacitatea sa de a genera articole automatizate care nu pot fi distinse de cele scrise de om va consolida și mai mult o industrie media care se luptă?

Lua în considerare un articol compus de GPT-3 despre destrămarea Bisericii metodiste. A inceput:

„După două zile de dezbateri intense, Biserica Metodistă Unită a fost de acord cu o divizare istorică - una care se așteaptă să se încheie cu crearea unei noi denominații și una care va fi„ teologică și social conservatoare ”, potrivit The Washington Post . ”

Cu capacitatea de a produce o astfel de copie curată, GPT-3 și succesorii săi vor reduce costurile scrierii rapoartelor de știri?

Mai mult, așa vrem să primim știrile noastre?

Tehnologia va deveni doar mai puternică. Depinde de oameni să își rezolve potențialele utilizări și abuzuri.

Despre autorConversaţie

Prasenjit Mitra, decan asociat pentru cercetare și profesor de științe și tehnologie a informației, Universitatea de Stat din Pennsylvania

Acest articol este republicat de la Conversaţie sub licență Creative Commons. Citeste Articol original.