În 1956, în timpul unei călătorii de un an la Londra și la începutul lui 20 de ani, matematicianul și biologul teoretician Jack D. Cowan l-a vizitat pe Wilfred Taylor și ciudatul său nou „mașină de învățat”. La sosirea sa, a fost uluit de „uriașa bancă de aparate” cu care se confrunta. Cowan nu putea decât să stea pe loc și să privească „mașina făcându-și treaba”. Lucrul pe care părea că îl face a fost să efectueze o „schemă de memorie asociativă” – părea să învețe cum să găsească conexiuni și să recupereze date.
Poate că arăta ca niște blocuri greoaie de circuite, lipite împreună cu mâna într-o masă de fire și cutii, dar Cowan a fost martor la o formă analogă timpurie a unei rețele neuronale - un precursor al celei mai avansate inteligențe artificiale de astăzi, inclusiv mult discutat Chat GPT cu capacitatea sa de a genera conținut scris ca răspuns la aproape orice comandă. Tehnologia de bază a ChatGPT este o rețea neuronală.
În timp ce Cowan și Taylor stăteau și priveau mașina funcționând, ei chiar nu aveau idee exact cum reușește să îndeplinească această sarcină. Răspunsul la creierul misterios al mașinii lui Taylor poate fi găsit undeva în „neuronii analogi” ai săi, în asocierile făcute de memoria mașinii sale și, cel mai important, în faptul că funcționarea sa automatizată nu a putut fi cu adevărat explicată pe deplin. Ar dura zeci de ani pentru ca aceste sisteme să-și găsească scopul și ca puterea să fie deblocată.
Termenul de rețea neuronală încorporează o gamă largă de sisteme, dar la nivel central, conform IBM, aceste „rețele neuronale – cunoscute și ca rețele neuronale artificiale (ANN) sau rețele neuronale simulate (SNN) – sunt un subset al învățării automate și se află în centrul algoritmilor de învățare profundă”. În mod esențial, termenul în sine și forma și „structura lor sunt inspirate de creierul uman, imitând modul în care neuronii biologici se semnalează unul altuia”.
S-ar putea să fi existat unele îndoieli reziduale cu privire la valoarea lor în stadiile inițiale, dar pe măsură ce anii au trecut, moda AI s-a îndreptat ferm către rețelele neuronale. Acum sunt adesea înțeleși ca fiind viitorul AI. Au implicații mari pentru noi și pentru ceea ce înseamnă să fii om. Am auzit ecouri ale acestor preocupări recent cu apeluri de a întrerupe noile dezvoltări AI pentru o perioadă de șase luni pentru a asigura încrederea în implicațiile acestora.
Ar fi cu siguranță o greșeală să respingem rețeaua neuronală ca fiind vorba doar de gadgeturi noi lucioase, atrăgătoare. Ele sunt deja bine stabilite în viețile noastre. Unele sunt puternice în caracterul lor practic. Încă din 1989, o echipă condusă de Yann LeCun de la AT&T Bell Laboratories a folosit tehnici de propagare inversă pentru a antrena un sistem să recunoaște codurile poștale scrise de mână. recenta anunțul Microsoft că căutările Bing vor fi alimentate de AI, făcându-l „copilot pentru web”, ilustrează modul în care lucrurile pe care le descoperim și modul în care le înțelegem vor fi din ce în ce mai mult un produs al acestui tip de automatizare.
Folosind date vaste pentru a găsi modele, AI poate fi antrenat în mod similar pentru a face lucruri precum recunoașterea imaginilor cu viteză – rezultând încorporarea lor în recunoastere faciala, de exemplu. Această capacitate de a identifica modele a condus la multe alte aplicații, cum ar fi prezicerea pietelor de valori.
Rețelele neuronale schimbă și modul în care interpretăm și comunicăm. Dezvoltat de intitulat interesant Echipa Google Brain, Traducerea Google este o altă aplicație proeminentă a unei rețele neuronale.
Nici nu ai vrea să joci șah sau shogi cu unul. Înțelegerea regulilor și reamintirea strategiilor și a tuturor mișcărilor înregistrate înseamnă că sunt excepțional de buni la jocuri (deși ChatGPT pare să lupta cu Wordle). Sistemele care îi deranjează pe jucătorii umani Go (Go este un joc de masă de strategie notoriu complicat) și pe marii maeștri de șah sunt realizate din rețele neuronale.
Dar acoperirea lor depășește cu mult aceste cazuri și continuă să se extindă. O căutare a brevetelor limitată doar la menționarea expresiei exacte „rețele neuronale” produce 135,828 de rezultate. Cu această expansiune rapidă și continuă, șansele ca noi să putem explica pe deplin influența AI pot deveni din ce în ce mai mici. Acestea sunt întrebările pe care le-am examinat în cercetarea mea și noua mea carte despre gândirea algoritmică.
Straturi misterioase de „incognoscibilitate”
Privind înapoi la istoria rețelelor neuronale ne spune ceva important despre deciziile automate care ne definesc prezentul sau cele care vor avea un impact posibil mai profund în viitor. Prezența lor ne spune, de asemenea, că este posibil să înțelegem și mai puțin deciziile și impactul AI în timp. Aceste sisteme nu sunt pur și simplu cutii negre, nu sunt doar părți ascunse ale unui sistem care nu pot fi văzute sau înțelese.
Este ceva diferit, ceva înrădăcinat în scopurile și designul acestor sisteme în sine. Există o urmărire de lungă durată a inexplicabilului. Cu cât este mai opac, cu atât se crede că sistemul este mai autentic și mai avansat. Nu este vorba doar de sistemele care devin mai complexe sau de controlul proprietății intelectuale care limitează accesul (deși acestea fac parte din aceasta). În schimb, se spune că ethos-ul care îi conduce are un interes particular și încorporat în „incognoscibilitate”. Misterul este chiar codificat în însăși forma și discursul rețelei neuronale. Ele vin cu straturi adânc îngrămădite – de unde expresia învățare profundă – și în acele adâncimi se află „straturile ascunse” care sună și mai misterios. Misterele acestor sisteme sunt adânc sub suprafață.
Există șanse mari ca, cu cât impactul pe care inteligența artificială ajunge să îl aibă în viața noastră este mai mare, cu atât vom înțelege mai puțin cum sau de ce. Astăzi există un impuls puternic pentru AI care este explicabil. Vrem să știm cum funcționează și cum ajunge la decizii și la rezultate. UE este atât de îngrijorată de potențialele „riscuri inacceptabile” și chiar de aplicațiile „periculoase” încât înaintează în prezent un nou act AI menită să stabilească un „standard global” pentru „dezvoltarea inteligenței artificiale sigure, de încredere și etice”.
Aceste noi legi se vor baza pe nevoia de explicabilitate, cerând asta „Pentru sistemele AI cu risc ridicat, cerințele de înaltă calitate a datelor, documentație și trasabilitate, transparență, supraveghere umană, acuratețe și robustețe, sunt strict necesare pentru a atenua riscurile la adresa drepturilor fundamentale și a siguranței prezentate de AI”. Nu este vorba doar despre lucruri precum mașinile cu conducere autonomă (deși sistemele care asigură siguranța intră în categoria UE de IA cu risc ridicat), este și o îngrijorare că vor apărea în viitor sisteme care vor avea implicații pentru drepturile omului.
Aceasta face parte din cererile mai ample de transparență în IA, astfel încât activitățile acesteia să poată fi verificate, auditate și evaluate. Un alt exemplu ar fi al Societății Regale informare privind politicile despre IA explicabilă în care ei subliniază că „dezbaterile de politică din întreaga lume văd din ce în ce mai multe solicitări pentru o anumită formă de explicabilitate AI, ca parte a eforturilor de a integra principii etice în proiectarea și implementarea sistemelor activate de AI”.
Dar povestea rețelelor neuronale ne spune că probabil ne vom îndepărta mai mult de acest obiectiv în viitor, mai degrabă decât mai aproape de el.
Inspirat de creierul uman
Aceste rețele neuronale pot fi sisteme complexe, dar au câteva principii de bază. Inspirați de creierul uman, ei caută să copieze sau să simuleze forme de gândire biologică și umană. Din punct de vedere al structurii și al designului acestea sunt, ca IBM explică, de asemenea, format din „straturi de noduri, care conțin un strat de intrare, unul sau mai multe straturi ascunse și un strat de ieșire”. În cadrul acestuia, „fiecare nod, sau neuron artificial, se conectează la altul”. Deoarece necesită intrări și informații pentru a crea rezultate, ei „se bazează pe datele de instruire pentru a învăța și a-și îmbunătăți acuratețea în timp”. Aceste detalii tehnice contează, dar la fel contează și dorința de a modela aceste sisteme pe complexitățile creierului uman.
Înțelegerea ambiției din spatele acestor sisteme este vitală pentru a înțelege ce înseamnă aceste detalii tehnice în practică. Într-o Interviu 1993, omul de știință al rețelelor neuronale Teuvo Kohonen a concluzionat că un sistem „auto-organizat” „este visul meu”, care operează „ceva ca ceea ce face sistemul nostru nervos instinctiv”. De exemplu, Kohonen și-a imaginat cum un sistem „auto-organizat”, un sistem care se monitoriza și se gestiona singur, „ar putea fi folosit ca panou de monitorizare pentru orice mașină... în fiecare avion, avion cu reacție sau în fiecare centrală nucleară sau în fiecare mașină". Acest lucru, credea el, ar însemna că în viitor „veți putea vedea imediat în ce stare se află sistemul”.
Obiectivul general a fost acela de a avea un sistem capabil să se adapteze la mediul înconjurător. Ar fi instantaneu și autonom, funcționând în stilul sistemului nervos. Acesta era visul, să existe sisteme care să se poată descurca singure fără a fi nevoie de multă intervenție umană. Complexitățile și necunoscutele creierului, ale sistemului nervos și ale lumii reale vor veni în curând să informeze dezvoltarea și proiectarea rețelelor neuronale.
„Ceva de pește în legătură cu asta”
Dar, sărind înapoi la 1956 și la acea mașinărie ciudată de învățare, abordarea practică pe care Taylor o luase când a construit-o a atras imediat atenția lui Cowan. Transpirase clar peste ansamblul pieselor. Taylor, observă Cowan în timpul unui interviu din partea sa în povestea acestor sisteme, „nu a făcut-o prin teorie și nu a făcut-o pe computer”. În schimb, cu uneltele în mână, el „a construit de fapt hardware-ul”. A fost un lucru material, o combinație de părți, poate chiar un instrument. Și „totul a fost făcut cu circuite analogice” ia luat lui Taylor, notează Cowan, „câțiva ani pentru a-l construi și pentru a se juca cu el”. Un caz de încercare și eroare.
De înțeles, Cowan a vrut să se înțeleagă cu ceea ce vedea. A încercat să-l determine pe Taylor să-i explice această mașină de învățare. Precizările nu au venit. Cowan nu l-a putut determina pe Taylor să-i descrie cum a funcționat chestia. Neuronii analogi au rămas un mister. Problema mai surprinzătoare, s-a gândit Cowan, a fost că Taylor „nu a înțeles cu adevărat ce se întâmplă”. Aceasta nu a fost doar o întrerupere momentană a comunicării dintre cei doi oameni de știință cu specializări diferite, a fost mai mult decât atât.
Într-o interviu de la mijlocul anilor 1990, gândindu-se înapoi la mașina lui Taylor, Cowan a dezvăluit că „până în ziua de azi în lucrările publicate nu poți înțelege prea bine cum funcționează”. Această concluzie sugerează modul în care necunoscutul este profund încorporat în rețelele neuronale. Inexplicabilitatea acestor sisteme neuronale a fost prezentă chiar și din etapele fundamentale și de dezvoltare care datează de aproape șapte decenii.
Acest mister rămâne astăzi și poate fi găsit în formele avansate de IA. Insondabilitatea funcționării asocierilor făcute de mașina lui Taylor l-a determinat pe Cowan să se întrebe dacă este „ceva de pește în asta”.
Rădăcini lungi și încurcate
Cowan s-a referit la scurta sa vizită cu Taylor când a fost întrebat despre primirea propriei sale lucrări câțiva ani mai târziu. În anii 1960 oamenii au fost, a reflectat Cowan, „puțin lenți în a vedea scopul unei rețele neuronale analogice”. Acest lucru a fost în ciuda faptului că, își amintește Cowan, lucrările lui Taylor din anii 1950 privind „memoria asociativă” se bazează pe „neuroni analogi”. Expertul în sisteme neuronale, câștigător al Premiului Nobel, Leon N. Cooper, a concluzionat că evoluțiile din jurul aplicării modelului creierului în anii 1960 au fost considerate „ca printre misterele profunde”. Din cauza acestei incertitudini, a rămas un scepticism cu privire la ceea ce ar putea realiza o rețea neuronală. Dar lucrurile au început să se schimbe încet.
Cu aproximativ 30 de ani în urmă, neurologul Walter J. Freeman, care a fost surprins de „remarcabil” de aplicații care fuseseră găsite pentru rețelele neuronale, comenta deja faptul că nu le vedea ca „un tip fundamental nou de mașină”. Au fost o ardere lentă, tehnologia venind mai întâi și apoi găsindu-se aplicații ulterioare pentru aceasta. Acest lucru a luat timp. Într-adevăr, pentru a găsi rădăcinile tehnologiei rețelelor neuronale, ne-am putea întoarce chiar mai departe decât vizita lui Cowan la misterioasa mașină a lui Taylor.
Omul de știință al rețelei neuronale James Anderson și jurnalistul științific Edward Rosenfeld am remarcat că fundalul rețelelor neuronale datează din anii 1940 și din unele încercări timpurii de a, așa cum descriu ei, „înțelegerea sistemelor nervoase umane și de a construi sisteme artificiale care acționează așa cum procedăm noi, cel puțin puțin”. Și astfel, în anii 1940, misterele sistemului nervos uman au devenit, de asemenea, misterele gândirii computaționale și ale inteligenței artificiale.
Rezumând această lungă poveste, scriitorul de informatică Larry Hardesty a subliniat că învățarea profundă sub formă de rețele neuronale „au trecut și demodat de mai bine de 70 de ani”. Mai exact, adaugă el, aceste „rețele neuronale au fost propuse pentru prima dată în 1944 de către Warren McCulloch și Walter Pitts, doi cercetători de la Universitatea din Chicago, care s-au mutat la MIT în 1952 ca membri fondatori ai ceea ce se numește uneori primul departament de științe cognitive”.
În altă parte, 1943 este uneori data dată ca primul an pentru tehnologie. Oricum, de aproximativ 70 de ani, relatările sugerează că rețelele neuronale s-au mutat și au ieșit din vogă, adesea neglijate, dar apoi uneori stăpânind și trecând în aplicații și dezbateri mai mainstream. Incertitudinea a persistat. Acei dezvoltatori timpurii descriu frecvent importanța cercetării lor ca fiind trecută cu vederea, până când și-a găsit scopul adesea ani și uneori zeci de ani mai târziu.
Trecând din anii 1960 la sfârșitul anilor 1970, putem găsi mai multe povești despre proprietățile necunoscute ale acestor sisteme. Chiar și atunci, după trei decenii, rețeaua neuronală încă avea să-și găsească un sens al scopului. David Rumelhart, care avea o pregătire în psihologie și a fost coautor al unui set de cărți publicate în 1986, care mai târziu aveau să atragă atenția înapoi din nou către rețelele neuronale, sa trezit colaborând la dezvoltarea rețelelor neuronale. cu colegul său Jay McClelland.
Pe lângă faptul că erau colegi, s-au întâlnit recent și la o conferință din Minnesota, unde discuția lui Rumelhart despre „înțelegerea poveștii” a provocat unele discuții în rândul delegaților.
În urma acelei conferințe, McClelland a revenit cu o gândire despre cum să dezvolte o rețea neuronală care ar putea combina modele pentru a fi mai interactive. Ceea ce contează aici este amintirea lui Rumelhart a „orelor și orelor și orelor de reparații pe computer”.
Ne-am așezat și am făcut toate acestea în computer și am construit aceste modele de computer, și pur și simplu nu le-am înțeles. Nu am înțeles de ce au lucrat sau de ce nu au funcționat sau ce este critic la ei.
Asemenea lui Taylor, Rumelhart s-a trezit mânuind cu sistemul. Și ei au creat o rețea neuronală funcțională și, în mod esențial, nu erau siguri cum sau de ce a funcționat așa cum a făcut, aparent învățând din date și găsind asocieri.
Mimând creierul - strat după strat
Poate ați observat deja că atunci când discutați despre originile rețelelor neuronale, imaginea creierului și complexitatea pe care aceasta o evocă nu sunt niciodată departe. Creierul uman a acționat ca un fel de șablon pentru aceste sisteme. În primele etape, în special, creierul – încă una dintre marile necunoscute – a devenit un model pentru modul în care ar putea funcționa rețeaua neuronală.
Deci, aceste noi sisteme experimentale au fost modelate pe ceva a cărui funcționare era în mare parte necunoscută. Inginerul neurocalculator Carver Mead a vorbit revelator a concepției unui „aisberg cognitiv” pe care îl găsise deosebit de atrăgător. Este doar vârful aisbergului conștiinței de care suntem conștienți și care este vizibil. Scara și forma restului rămân necunoscute sub suprafață.
În 1998, James anderson, care a lucrat de ceva timp la rețelele neuronale, a remarcat că atunci când a venit vorba de cercetarea asupra creierului, „descoperirea noastră majoră pare să fie conștientizarea faptului că nu știm cu adevărat ce se întâmplă”.
Într-o relatare detaliată în Financial Times în 2018, jurnalistul de tehnologie Richard Waters a remarcat cum rețelele neuronale „sunt modelate pe o teorie despre modul în care funcționează creierul uman, trecând date prin straturi de neuroni artificiali până când apare un model identificabil”. Acest lucru creează o problemă de bază, a propus Waters, deoarece „spre deosebire de circuitele logice folosite într-un program software tradițional, nu există nicio modalitate de a urmări acest proces pentru a identifica exact de ce un computer vine cu un anumit răspuns”. Concluzia lui Waters este că aceste rezultate nu pot fi anulate. Aplicarea acestui tip de model al creierului, preluând datele prin mai multe straturi, înseamnă că răspunsul nu poate fi retras cu ușurință. Stratificarea multiplă este o bună parte a motivului pentru aceasta.
Hardesty De asemenea, a observat că aceste sisteme sunt „modelate vag pe creierul uman”. Acest lucru aduce o dorință de a construi o complexitate din ce în ce mai mare de procesare pentru a încerca să se potrivească cu creierul. Rezultatul acestui obiectiv este o rețea neuronală care „constă din mii sau chiar milioane de noduri de procesare simple care sunt dens interconectate”. Datele se deplasează prin aceste noduri într-o singură direcție. Hardesty a observat că „un nod individual ar putea fi conectat la mai multe noduri din stratul de sub el, de la care primește date, și la mai multe noduri din stratul de deasupra lui, către care trimite date”.
Modelele creierului uman au făcut parte din modul în care aceste rețele neuronale au fost concepute și proiectate încă de la început. Acest lucru este deosebit de interesant atunci când considerăm că creierul era în sine un mister al vremii (și încă este în multe privințe).
„Adaptarea este întregul joc”
Oameni de știință precum Mead și Kohonen au vrut să creeze un sistem care să se poată adapta cu adevărat la lumea în care se afla. Ar răspunde condițiilor sale. Mead a fost clar că valoarea în rețelele neuronale este că ar putea facilita acest tip de adaptare. La acea vreme și reflectând asupra acestei ambiții, a adăugat Mead că producerea adaptării „este tot jocul”. Această adaptare este necesară, a spus el, „din cauza naturii lumii reale”, despre care a concluzionat că este „prea variabilă pentru a face ceva absolut”.
Trebuia să ținem cont de această problemă, mai ales că, credea el, acesta era ceva „sistemul nervos și-a dat seama cu mult timp în urmă”. Acești inovatori nu numai că lucrau cu o imagine a creierului și a necunoscutelor sale, ei combinau aceasta cu o viziune asupra „lumii reale” și a incertitudinilor, necunoscutelor și variabilității pe care aceasta le aduce. Sistemele, credea Mead, trebuiau să poată răspunde și să se adapteze circumstanțelor fără instrucțiune.
Cam în aceeași perioadă, în anii 1990, Stephen Grossberg – un expert în sisteme cognitive care lucrează în matematică, psihologie și inginerie biomedicală – a mai argumentat că adaptarea urma să fie pasul important pe termen lung. Grossberg, în timp ce lucra la modelarea rețelelor neuronale, s-a gândit în sine că totul este „despre modul în care sistemele biologice de măsurare și control sunt concepute pentru a se adapta rapid și stabil în timp real la o lume cu fluctuații rapide”. După cum am văzut mai devreme cu „visul” lui Kohonen despre un sistem „auto-organizat”, o noțiune de „lumea reală” devine contextul în care răspunsul și adaptarea sunt codificate în aceste sisteme. Modul în care acea lume reală este înțeleasă și imaginată influențează, fără îndoială, modul în care aceste sisteme sunt proiectate să se adapteze.
Straturi ascunse
Pe măsură ce straturile s-au înmulțit, învățarea profundă a pătruns noi adâncimi. Rețeaua neuronală este antrenată folosind date de antrenament care, explică Hardesty, „este alimentat în stratul inferior – stratul de intrare – și trece prin straturile următoare, înmulțindu-se și adunând împreună în moduri complexe, până când ajunge în cele din urmă, transformat radical, la stratul de ieșire”. Cu cât sunt mai multe straturi, cu atât transformarea este mai mare și distanța de la intrare la ieșire este mai mare. Dezvoltarea unităților de procesare grafică (GPU), de exemplu în jocuri, a adăugat Hardesty, „a permis rețelelor cu un singur strat din anii 1960 și rețelelor cu două până la trei straturi din anii 1980 să înflorească în cele zece, 15 sau chiar 50. -rețele de straturi de astăzi”.
Rețelele neuronale sunt din ce în ce mai adânci. Într-adevăr, această adăugare de straturi, potrivit lui Hardesty, este „la ce se referă „profunzimea” în „învățare profundă””. Acest lucru contează, propune el, deoarece „în prezent, învățarea profundă este responsabilă pentru cele mai performante sisteme în aproape fiecare domeniu al cercetării inteligenței artificiale”.
Dar misterul devine și mai adânc. Pe măsură ce straturile rețelelor neuronale s-au acumulat mai mult, complexitatea lor a crescut. De asemenea, a dus la creșterea a ceea ce se numește „straturi ascunse” în aceste adâncimi. Discuția despre numărul optim de straturi ascunse într-o rețea neuronală este în desfășurare. Teoreticianul media Beatrice Fazi a scris că „din cauza modului în care funcționează o rețea neuronală profundă, bazându-se pe straturi neuronale ascunse, cuprinse între primul strat de neuroni (stratul de intrare) și ultimul strat (stratul de ieșire), tehnicile de învățare profundă sunt adesea opace sau ilizibile chiar și pentru programatori care le-au creat inițial”.
Pe măsură ce straturile cresc (inclusiv acele straturi ascunse), ele devin și mai puțin explicabile – chiar și, după cum se dovedește, din nou, pentru cei care le creează. Făcând un punct similar, proeminenta și interdisciplinară gânditoare de noi media Katherine Hayles remarcat de asemenea că există limite pentru „cât de mult putem ști despre sistem, un rezultat relevant pentru „stratul ascuns” din rețelele neuronale și algoritmii de învățare profundă”.
Urmărirea inexplicabilului
Luate împreună, aceste evoluții lungi fac parte din ceea ce sociologul tehnologiei Taina Bucher a numit „problematica necunoscutului”. Extinderea cercetărilor sale influente privind cunoștințele științifice în domeniul AI, Harry Collins a subliniat că obiectivul rețelelor neuronale este ca acestea să fie produse de un om, cel puțin inițial, dar „odată scris programul își trăiește propria viață, așa cum ar fi; fără un efort uriaș, modul exact în care funcționează programul poate rămâne misterios”. Acest lucru are ecouri ale acelor vise de mult timp ale unui sistem de auto-organizare.
Aș adăuga la aceasta că necunoscutul și poate chiar incognoscibilul au fost urmăriți ca o parte fundamentală a acestor sisteme încă din stadiile lor incipiente. Există șanse mari ca, cu cât impactul pe care inteligența artificială ajunge să îl aibă în viața noastră este mai mare, cu atât vom înțelege mai puțin cum sau de ce.
Dar asta nu le convine multora astăzi. Vrem să știm cum funcționează AI și cum ajunge la deciziile și rezultatele care ne afectează. Pe măsură ce evoluțiile AI continuă să modeleze cunoștințele și înțelegerea noastră despre lume, ceea ce descoperim, cum suntem tratați, cum învățăm, consumăm și interacționăm, acest impuls de a înțelege va crește. Când vine vorba de inteligența artificială explicabilă și transparentă, povestea rețelelor neuronale ne spune că probabil ne vom îndepărta mai mult de acest obiectiv în viitor, mai degrabă decât mai aproape de el.
David Beer, Profesor de sociologie, Universitatea din York
Acest articol este republicat de la Conversaţie sub licență Creative Commons. Citeste Articol original.
