Persoanelor care solicită un împrumut de la o bancă sau o companie de carduri de credit și sunt refuzate, li se datorează o explicație a motivului pentru care s-a întâmplat acest lucru. Este o idee bună - deoarece poate ajuta la învățarea oamenilor cum să-și repare creditul deteriorat - și este o lege federală Legea egalității de șanse de credit. Obținerea unui răspuns nu a fost o problemă prea mare în anii trecuți, când oamenii au luat acele decizii. Dar astăzi, pe măsură ce sistemele de inteligență artificială asistă sau înlocuiesc din ce în ce mai mult oamenii care iau decizii de creditare, obținerea acestor explicații a devenit mult mai dificilă.

În mod tradițional, un ofițer de împrumut care a respins o cerere ar putea spune unui potențial împrumutat că există o problemă cu nivelul venitului sau istoricul angajării sau oricare ar fi fost problema. Dar sisteme computerizate care folosesc complexe masina de învățare modelele sunt greu de explicat, chiar și pentru experți.

Deciziile privind creditele de consum sunt doar o modalitate în care apare această problemă. Preocupări similare exista in sănătate, marketing online și chiar justiția penală. Interesul meu pentru acest domeniu a început când a fost descoperit un grup de cercetare din care făceam parte prejudecată de gen în modul în care au fost direcționate anunțurile online, dar nu a putut explica de ce sa întâmplat.

Toate acele industrii și multe altele, care folosesc învățarea automată pentru a analiza procesele și pentru a lua decizii, au puțin peste un an pentru a obține o explicație mai bună a modului în care funcționează sistemele lor. În mai 2018, noul Regulamentul general al Uniunii Europene privind protecția datelor intră în vigoare, inclusiv o secțiune care oferă oamenilor dreptul de a obține o explicație pentru deciziile automate care le afectează viața. Ce formă ar trebui să ia aceste explicații și le putem oferi de fapt?

Identificarea motivelor cheie

O modalitate de a descrie de ce a apărut o decizie automatizată așa cum a făcut-o este identificarea factorilor care au fost cei mai influenți în decizie. Cât de mult a fost o decizie de respingere a creditului pentru că solicitantul nu a câștigat suficienți bani sau pentru că nu a rambursat împrumuturile în trecut?

Grupul meu de cercetare de la Universitatea Carnegie Mellon, inclusiv doctorandul Shayak Sen și apoi postdoctorul Yair Zick au creat o modalitate de a măsurați influența relativă a fiecărui factor. O numim Influența intrării cantitative.

În plus față de o mai bună înțelegere a unei decizii individuale, măsurarea poate arunca o lumină și asupra unui grup de decizii: a respins un algoritm creditul în primul rând din cauza preocupărilor financiare, cum ar fi cât de mult are un solicitant pentru alte datorii? Sau a fost mai important codul poștal al solicitantului - sugerând date demografice de bază, cum ar fi rasa, ar fi putut intra în joc?

Captarea cauzalității

Atunci când un sistem ia decizii pe baza mai multor factori, este important să se identifice care sunt factorii care determină deciziile și contribuția lor relativă.

De exemplu, imaginați-vă un sistem de decizie de credit care ia doar două intrări, raportul datoriei-venit al solicitantului și rasa ei și s-a demonstrat că aprobă împrumuturi numai pentru caucazieni. Știind cât de mult a contribuit fiecare factor la decizie ne poate ajuta să înțelegem dacă este un sistem legitim sau dacă este discriminatoriu.

O explicație ar putea doar să analizeze intrările și rezultatul și să observe corelația - non-caucazienii nu au primit împrumuturi. Dar această explicație este prea simplistă. Să presupunem că non-caucazienilor cărora li s-au refuzat împrumuturile au avut și venituri mult mai mici decât caucazienii ale căror cereri au avut succes. Apoi, această explicație nu ne poate spune dacă raportul rasă sau datorie / venit al solicitanților a cauzat refuzurile.

Metoda noastră poate furniza aceste informații. A spune diferența înseamnă că putem elimina dacă sistemul discriminează pe nedrept sau dacă analizează criterii legitime, cum ar fi finanțele solicitanților.

Pentru a măsura influența rasei într-o anumită decizie de creditare, refacem procesul de aplicare, menținând același raport datorie-venit, dar schimbând rasa solicitantului. Dacă schimbarea cursei afectează rezultatul, știm că cursa este un factor decisiv. Dacă nu, putem concluziona că algoritmul se uită doar la informațiile financiare.

Pe lângă identificarea factorilor care sunt cauze, putem măsura influența lor cauzală relativă asupra unei decizii. Facem asta modificând aleatoriu factorul (de exemplu, rasă) și măsurând cât de probabil este ca rezultatul să se schimbe. Cu cât este mai mare probabilitatea, cu atât este mai mare influența factorului.

Agregarea influenței

Metoda noastră poate include, de asemenea, mai mulți factori care funcționează împreună. Luați în considerare un sistem de decizie care acordă credit solicitanților care îndeplinesc două dintre cele trei criterii: un scor de credit mai mare de 600, dreptul de proprietate asupra unei mașini și dacă solicitantul a rambursat integral un împrumut la domiciliu. Să presupunem că unui solicitant, Alice, cu un scor de credit de 730 și fără împrumut de mașină sau de locuință, i se refuză creditul. Ea se întreabă dacă starea de proprietate a mașinii sau istoricul rambursării împrumutului la domiciliu este principalul motiv.

O analogie poate ajuta la explicarea modului în care analizăm această situație. Luați în considerare o instanță în care deciziile sunt luate cu votul majorității unui grup de trei judecători, în care unul este conservator, unul liberal și al treilea un vot swing, cineva care ar putea lua parte la oricare dintre colegii ei. Într-o decizie conservatoare 2-1, judecătorul swing a avut o influență mai mare asupra rezultatului decât judecătorul liberal.

Factorii din exemplul nostru de creditare sunt ca cei trei judecători. Primul judecător votează de obicei în favoarea împrumutului, deoarece mulți solicitanți au un scor de credit suficient de mare. Al doilea judecător votează aproape întotdeauna împotriva împrumutului, deoarece foarte puțini solicitanți au plătit vreodată o casă. Decizia revine judecătorului swing, care în cazul Alice respinge împrumutul pentru că nu deține o mașină.

Putem face acest raționament exact folosind teoria jocului cooperativ, un sistem de analiză mai specifică a modului în care diferiți factori contribuie la un singur rezultat. În special, combinăm măsurătorile noastre ale influenței cauzale relative cu Valoare Shapley, care este o modalitate de a calcula modul de atribuire a influenței mai multor factori. Împreună, acestea formează măsurarea influenței noastre cantitative.

Până acum ne-am evaluat metodele pe sisteme de decizie pe care le-am creat prin instruirea algoritmilor de învățare automată obișnuiți cu seturi de date din lumea reală. Evaluarea algoritmilor la locul de muncă în lumea reală este un subiect pentru munca viitoare.

O provocare deschisă

Metoda noastră de analiză și explicație a modului în care iau decizii algoritmii este cea mai utilă în setările în care factorii sunt ușor de înțeles de către oameni - cum ar fi raportul datorie-venit și alte criterii financiare.

Cu toate acestea, explicarea procesului decizional al algoritmilor mai complexi rămâne o provocare semnificativă. Luați, de exemplu, un sistem de recunoaștere a imaginilor, precum cele care detectează și urmărește tumorile. Nu este foarte util să explicăm evaluarea unei anumite imagini pe baza pixelilor individuali. În mod ideal, am dori o explicație care să ofere o perspectivă suplimentară asupra deciziei - cum ar fi identificarea caracteristicilor tumorale specifice din imagine. Într-adevăr, proiectarea explicațiilor pentru astfel de sarcini automate de luare a deciziilor păstrează mulți cercetători ocupat.

Despre autor

Anupam Datta, profesor asociat de informatică și electrotehnică, Carnegie Mellon University

Acest articol a fost publicat inițial Conversaţie. Citeste Articol original.

Cărți conexe

at InnerSelf Market și Amazon