Studiul arată că rapoartele false generate de AI îi păcălesc pe experți

Studiul arată că rapoartele false generate de AI îi păcălesc pe experți

Nu este nevoie de o minte umană pentru a produce dezinformări suficient de convingătoare pentru a păcăli experții în domenii atât de critice precum securitatea cibernetică iLexx / iStock prin Getty Images

Dacă utilizați astfel de site-uri de socializare precum Facebook și Twitter, este posibil să fi întâlnit postări marcate cu avertismente despre dezinformare. Până în prezent, cele mai multe dezinformări - semnalate și fără steaguri - au fost destinat publicului larg. Imaginați-vă posibilitatea dezinformării - informații false sau înșelătoare - în domenii științifice și tehnice precum securitatea cibernetică, siguranța publică și medicina.

Există o îngrijorare tot mai mare cu privire la dezinformarea răspândindu-se în aceste domenii critice ca rezultat al prejudecăților și practicilor comune în publicarea literaturii științifice, chiar și în lucrări de cercetare revizuite de colegi. Ca absolvent și ca facultate membrii făcând cercetări în domeniul securității cibernetice, am studiat o nouă cale de dezinformare în comunitatea științifică. Am constatat că este posibil ca sistemele de inteligență artificială să genereze informații false în domenii critice precum medicina și apărarea, care sunt suficient de convingătoare pentru a păcăli experții.

Dezinformarea generală își propune adesea să păteze reputația companiilor sau a persoanelor publice. Dezinformarea în cadrul comunităților de expertiză are potențialul de a obține rezultate înfricoșătoare, cum ar fi furnizarea de sfaturi medicale incorecte medicilor și pacienților. Acest lucru ar putea pune viața în pericol.


 Obțineți cele mai recente prin e-mail

Revista săptămânală Inspirație zilnică

Pentru a testa această amenințare, am studiat impactul răspândirii dezinformării în comunitățile medicale și de securitate cibernetică. Am folosit modele de inteligență artificială numite transformatoare pentru a genera știri de securitate cibernetică false și studii medicale COVID-19 și am prezentat dezinformarea cibersecurității experților în securitate cibernetică pentru testare. Am constatat că dezinformarea generată de transformatoare a fost capabilă să păcălească experții în securitate cibernetică.

transformatoare

O mare parte din tehnologia utilizată pentru identificarea și gestionarea dezinformării este alimentată de inteligență artificială. AI permite informaticienilor să verifice rapid cantități mari de dezinformare, având în vedere că oamenii pot detecta prea multe fără ajutorul tehnologiei. Deși AI îi ajută pe oameni să detecteze dezinformarea, în mod ironic a fost folosită și pentru a produce dezinformare în ultimii ani.

Un bloc de text pe ecranul unui smartphone

AI poate ajuta la detectarea dezinformării, cum ar fi aceste afirmații false despre COVID-19 în India - dar ce se întâmplă atunci când AI este utilizată pentru a genera dezinformarea?

AP Photo / Ashwini Bhatia

Transformatoare, cum ar fi OARET de la Google și GPT din OpenAI, utilizați prelucrarea limbajului natural să înțeleagă textul și să producă traduceri, rezumate și interpretări. Au fost folosite în sarcini precum povestirea și răspunsul la întrebări, împingând limitele mașinilor care afișează capacități umane în generarea de text.

Transformatoarele au ajutat Google și alte companii de tehnologie prin îmbunătățindu-și motoarele de căutare și au ajutat publicul larg în combaterea unor probleme comune precum luptând cu blocul scriitorului.

Transformatoarele pot fi folosite și în scopuri răuvoitoare. Rețelele sociale precum Facebook și Twitter s-au confruntat deja cu provocările Știri false generate de AI peste platforme.

Dezinformare critică

Cercetările noastre arată că transformatoarele reprezintă, de asemenea, o amenințare de dezinformare în medicină și securitate cibernetică. Pentru a ilustra cât de grav este acest lucru, noi fin reglate modelul de transformator GPT-2 activat deschide surse online discutarea vulnerabilităților la securitatea cibernetică și a informațiilor despre atac. O vulnerabilitate a securității cibernetice este slăbiciunea unui sistem informatic, iar un atac de securitate cibernetică este un act care exploatează o vulnerabilitate. De exemplu, dacă o vulnerabilitate este o parolă Facebook slabă, un atac care o exploatează ar fi un hacker care îți va afla parola și va intra în contul tău.

Apoi am însămânțat modelul cu propoziția sau fraza unui eșantion real de inteligență cibernetică și l-am pus să genereze restul descrierii amenințării. Am prezentat această descriere generată vânătorilor de amenințări cibernetice, care trec prin multe informații despre amenințările privind securitatea cibernetică. Acești profesioniști citesc descrierile amenințărilor pentru a identifica atacurile potențiale și a ajusta apărarea sistemelor lor.

Am fost surprinși de rezultate. Exemplele de dezinformare a securității cibernetice pe care le-am generat au reușit să păcălească vânătorii de amenințări cibernetice, care au cunoștință despre tot felul de atacuri și vulnerabilități de securitate cibernetică. Imaginați-vă acest scenariu cu o piesă crucială de inteligență cibernetică care implică industria companiilor aeriene, pe care am generat-o în studiul nostru.

Un bloc de text cu informații false despre un atac de securitate cibernetică asupra companiilor aeriene

Un exemplu de dezinformare a securității cibernetice generate de AI.

 

Conversatia, CC BY-ND

Această informație înșelătoare conține informații incorecte privind atacurile cibernetice asupra companiilor aeriene cu date sensibile de zbor în timp real. Aceste informații false ar putea împiedica analiștii cibernetici să abordeze vulnerabilitățile legitime din sistemele lor, mutându-și atenția asupra erorilor software false. Dacă un analist cibernetic acționează asupra informațiilor false într-un scenariu din lumea reală, compania aeriană în cauză s-ar fi putut confrunta cu un atac serios care exploatează o vulnerabilitate reală și neadresată.

Un model similar bazat pe transformatoare poate genera informații în domeniul medical și poate păcăli experții medicali. În timpul pandemiei COVID-19, preimprimările lucrărilor de cercetare care nu au fost încă supuse unei analize riguroase sunt încărcate în mod constant pe site-uri precum medrXiv. Acestea nu sunt doar descrise în presă, ci sunt folosite pentru a lua decizii de sănătate publică. Luați în considerare următoarele, care nu sunt reale, ci sunt generate de modelul nostru după o ajustare minimă a GPT-2 implicită pe unele lucrări legate de COVID-19.

Un bloc de text care arată informații greșite în domeniul sănătății.

Un exemplu de dezinformare a asistenței medicale generate de AI.

 

Conversatia, CC BY-ND

Modelul a fost capabil să genereze propoziții complete și să formeze un abstract care presupune descrie efectele secundare ale vaccinărilor COVID-19 și experimentele care au fost efectuate. Acest lucru este îngrijorător atât pentru cercetătorii medicali, care se bazează în mod constant pe informații exacte pentru a lua decizii în cunoștință de cauză, cât și pentru membrii publicului larg, care se bazează adesea pe știrile publice pentru a afla informații despre sănătate critice. Dacă ar fi acceptată ca fiind exactă, acest tip de dezinformare ar putea pune viața în pericol prin direcționarea greșită a eforturilor oamenilor de știință care efectuează cercetări biomedicale.

O cursă de înarmare a dezinformării AI?

Deși exemple ca acestea din studiul nostru pot fi verificate de fapt, dezinformarea generată de transformatoare împiedică industrii precum îngrijirea sănătății și securitatea cibernetică în adoptarea IA pentru a ajuta la supraîncărcarea informațiilor. De exemplu, sunt dezvoltate sisteme automatizate pentru a extrage date din inteligența cibernetică, care sunt apoi utilizate pentru a informa și instrui sistemele automatizate pentru a recunoaște posibilele atacuri. Dacă aceste sisteme automatizate procesează un astfel de text fals de securitate cibernetică, ele vor fi mai puțin eficiente în detectarea amenințărilor adevărate.

Credem că rezultatul ar putea fi o cursă a înarmărilor, deoarece oamenii care răspândesc dezinformarea dezvoltă modalități mai bune de a crea informații false ca răspuns la modalități eficiente de a le recunoaște.

Cercetătorii în domeniul securității cibernetice studiază continuu modalități de detectare a dezinformării în diferite domenii. Înțelegerea modului de generare automată a dezinformării ajută la înțelegerea modului de recunoaștere. De exemplu, informațiile generate automat au adesea greșeli gramaticale subtile pe care sistemele pot fi instruite să le detecteze. De asemenea, sistemele pot corela informații încrucișate din mai multe surse și pot identifica revendicările care nu au sprijin substanțial din alte surse.

În cele din urmă, toată lumea ar trebui să fie mai vigilentă cu privire la ce informații sunt demne de încredere și să fie conștienți de faptul că hackerii exploatează credulitatea oamenilor, mai ales dacă informațiile nu provin din surse de știri reputate sau din lucrări științifice publicate.

Priyanka Ranade, doctorand în informatică și inginerie electrică, Universitatea din Maryland, județul Baltimore

 

cărți_cultură

Acest articol a apărut inițial pe Conversaţie

LIMBI DISPONIBILE

Engleză afrikaans Arabă Chineză (simplificată) Chineză (tradițională) daneză Olandeză Filipineză Finlandeză Franceză Germană Greacă ebraică hindi Maghiară Indoneziană Italiană Stil Japonez Coreeană malaezian norvegiană persană Poloneză portugheză Română Rusă Spaniolă Swahili Suedeză Thailandeză Turcă ucrainean urdu Vietnameză

urmează InnerSelf pe

facebook iconstare de nervozitate iconyoutube iconpictograma instagrampictogramă pintrestrss icon

 Obțineți cele mai recente prin e-mail

Revista săptămânală Inspirație zilnică

Atitudini noi - Noi posibilități

InnerSelf.comClimateImpactNews.com | InnerPower.net
MightyNatural.com | WholisticPolitics.com | Piața InnerSelf
Drepturi de autor © 1985 - 2021 InnerSelf Publications. Toate drepturile rezervate.