Algoritmi. Il lato oscuro della matematica. Un libro di Cathy O'Neil

Di Damiano Palano

Questa recensione al libro di Cathy O'Neil, Armi di distruzione matematica. Come i big data aumentano la disuguaglianza e minacciano la democrazia (Bompiani, pp. 366, euro 18.00), è uscita su "Avvenire" il 14 novembre 2017. 

Negli ultimi tempi abbiamo scoperto di essere costantemente spiati. A scrutare i nostri movimenti quotidiani non è l’occhio del Big Brother immaginato da Orwell, ma sono invece quei cookie che, quando navighiamo tra le pagine di internet, si infilano nel nostro browser. Queste piccole ‘cimici’ consentono ai siti che abbiamo visitato di riconoscerci tutte le volte che ritorniamo. Ma, come una sorta di cavallo di Troia, entrano nella nostra intimità, raccolgono informazioni sulle nostre navigazioni passate e costruiscono un ricco profilo, che comprende gusti, interessi, abitudini, con l’obiettivo di inserirci in una specifica categoria di consumatori potenziali. E, dunque, di confezionare un messaggio pubblicitario tagliato ‘su misura’ sulle nostre preferenze. Tutto sommato la comodità di avere suggerimenti ‘personalizzati’, quando cerchiamo in rete un film o qualche brano musicale, o quando pianifichiamo le nostre vacanze, ci sembra un vantaggio che giustifica il prezzo che paghiamo in termini di privacy. Ma non sempre – anzi, probabilmente quasi mai – siamo davvero consapevoli di cedere tante informazioni che ci riguardano. E siamo ancora meno consapevoli di quanto questi dati possano incidere sulla nostra vita.

Per comprendere quale sia la posta in gioco, una lettura davvero preziosa è rappresentata dal libro di Cathy O’Neil, Armi di distruzione matematica. Come i Big Data aumentano la disuguaglianza e minacciano la democrazia (Bompiani, pp. 366, euro 18.00). L’autrice è una matematica proveniente da esperienze di analista quantitativa nel settore finanziario e nell’e-commerce, delusa dagli utilizzi che degli strumenti matematici vengono fatti in questi ambiti. I modelli matematici, secondo O’Neil, si sono infatti trasformati in «Weapons of Math Destruction»: mezzi di distruzione matematica, forse meno cruenti dei mezzi di distruzione di massa usati in guerra, ma dalle conseguenze comunque nocive. E il libro è proprio il frutto della disillusione che nel 2011 condusse l’autrice a diventare un’attivista di Occupy Wall Street e a iniziare una campagna di sensibilizzazione contro i cattivi utilizzi della matematica.

Le «armi di distruzione matematica» sono in sostanza quegli algoritmi che hanno iniziato a essere utilizzati per razionalizzare le decisioni nei campi più diversi. Spesso infatti gli algoritmi sono costruiti per disporre di una base ‘oggettiva’ di valutazione, per esempio nel caso in cui si intenda misurare l’efficienza di un insegnante, individuare potenziali terroristi, stabilire quale sia il candidato più adatto a un posto di lavoro. Ma gli algoritmi non solo conducono talvolta a risultati che deformano la realtà. Il punto è che quella descritta dagli algoritmi tende spesso a diventare la «realtà». Perché le decisioni adottate in base a quella rappresentazione non fanno che creare un circolo vizioso le cui vittime sono però individui in carne ed ossa. Gli ingredienti comuni alle «armi di distruzione matematica» secondo O’Neil sono la scarsa chiarezza, l’enorme portata e il danno che producono. Nella categoria rientrano per esempio i programmi «predittivi» utilizzati in molti distretti di polizia statunitensi. Ma sono «armi di distruzione matematica» anche i modelli di recidiva, sempre più spesso adottati nei giudizi penali negli Usa, che fanno dipendere la sentenza da precedenti negativi (quasi sempre correlati all’appartenenza etnica). E ovviamente sono tali gli algoritmi che individuano i creditori poco affidabili, destinati a diventare il target privilegiato di finanziarie che promettono prestiti facili ma a tassi di interesse altissimi. O i sistemi con cui vengono esaminati i candidati per un posto di lavoro e i test di personalità utilizzati nella selezione del personale. Il punto, secondo O’Neil, è soprattutto che gli algoritmi tendono sempre a cristallizzare la situazione esistente. Dal momento che le loro previsioni si basano sull’esame del passato, ai loro occhi il futuro non può che essere uguale al passato. E ciò significa non solo che gli algoritmi fotografano le stratificazioni sociali, ma anche che contribuiscono a riprodurle, in un circuito di feedback da cui diventa impossibile uscire.

Ovviamente, e O’Neil ne è perfettamente consapevole, i Big Data saranno sempre più importanti nei prossimi anni. Probabilmente gli algoritmi penetreranno anzi in ogni ambito della nostra vita, molto più di quanto possiamo oggi immaginare. Ma è probabilmente proprio per questo che la sfida di un altro uso della matematica – insieme alla ricerca di algoritmi capaci di evitare effetti così disastrosi – diventa tanto importante.