Pride: le discipline STEM combattono la discriminazione algoritmica
COMPUTING SCIENCES | DIRITTO |

Pride: le discipline STEM combattono la discriminazione algoritmica

SERVONO CONOSCENZE SPECIALISTICHE PER MODELLARE IN MODO MATEMATICO LA DISCRIMINAZIONE NEI SISTEMI DI INTELLIGENZA ARTIFICIALE, IN MODO DA SCOVARLA, E INDIVIDUARE POSSIBILI SOLUZIONI. UN WORKSHOP IN UNIVERSITA' IL 27 GIUGNO

Nella sua lotta contro le discriminazioni, la comunità LGBTQIA+ trova un alleato inatteso: le discipline STEM (Science, Technology, Engineering and Mathematics). A discriminare, oggi, non sono infatti solo le persone, ma anche le intelligenze artificiali, attraverso gli algoritmi che ne governano il funzionamento, spesso al di là e indipendentemente dalla volontà dei loro creatori.
 
Per l'Equal Pay Day 2019, la metropolitana di Berlino, per esempio, ha deciso di praticare uno sconto del 21% (pari al gender pay gap medio) alle donne, affidando la scelta a un sistema di riconoscimento facciale, poco adatto a distinguere le persone trans, mentre le app collegate agli wearable devices che monitorano esercizio e benessere faticano ad adattarsi agli individui non-binari.
 
“Le origini della discriminazione algoritmica possono essere tecnicamente molto complesse,” dice Luca Trevisan, professore del neonato Dipartimento di Computing Sciences della Bocconi, “ed è perciò difficile discuterne prescindendo dagli aspetti tecnici. Sono le discipline STEM a poter modellare la discriminazione in modo matematico e a poter individuare problematiche e possibili soluzioni.” Per affrontare il tema, Trevisan, in collaborazione con EDGE, ha organizzato l’incontro “Fairness in Artificial Intelligence - A mini-workshop on bias and discrimination in AI” (Università Bocconi, 27 giugno), al quale parteciperanno, tra gli altri, studiosi di Harvard, Stanford e Bocconi e che toccherà anche le implicazioni giuridiche del tema. L’incontro costituisce la prima iniziativa del progetto "A+I: Algoritmi + Inclusivi" di EDGE.
 
Podcast & Video Immagine con link ad articoli su temi simili. L'immagine della copertina del podcast Think Diverse e le foto dei professori Luca Trevisan e Catherine De Vries rimanda al podcast intitolato: The Opinionated Machine Immagine con link ad articoli su temi simili. L'immagine della copertina del podcast Clarity in a Messy World rimanda al podcast intitolato: The Potential Pitfalls of Algorithms Immagine con link ad articoli su temi simili. La foto di Catherine De Vries rimanda al video intitolato: Catherine De Vries on Diversity and Inclusion
 
In generale, tutti i sistemi di machine learning, che vengono addestrati a prendere decisioni in base a un set di decisioni del passato, rischiano di perpetuare distorsioni implicite e di non funzionare in modo ottimale con le minoranze. È il caso, ad esempio, delle tecnologie di traduzione automatica che, come spiega Dirk Hovy nel pezzo qui sotto, rischiano di far sembrare legittimo solo il modo di parlare di maschi etero di mezza età e stentano a comprendere l’uso dei pronomi moderni, che si stanno sviluppando a denotare identità sessuali non binarie.


Immagine con link ad articoli su temi simili. L'immagine di due schwa rimanda all'articolo intitolato: Come rendere più inclusive le tecnologie linguistiche

Può essere dimostrato che gli stessi modelli linguistici più diffusi e usati, per esempio, da Google per interpretare correttamente le ricerche degli utenti, incorporano sottili e subdole forme di bias a danno della comunità LGBTQIA+ e delle donne.
 

Immagine con link ad articoli su temi simili. L'immagine di un CPU di un computer rimanda all'articolo intitolato: Quando le macchine imparano i pregiudizi
 
Se affidiamo a un sistema di intelligenza artificiale la preselezione dei cv dei candidati a un certo posto di lavoro, rischiamo di perpetuare il pregiudizio di genere che potrebbe aver condotto, in passato, ad assumere solo maschi per posizioni manageriali di rilievo. La soluzione immediata (“ma semplicistica,” avverte Trevisan) potrebbe essere quella di depurare i cv da ogni riferimento al genere del candidato. “Il genere, però, può essere correlato a molte altre informazioni come, per esempio, il corso universitario frequentato o gli aggettivi scelti per descrivere sé stessi e un sistema di machine learning continuerebbe, con ogni probabilità, a preselezionare soprattutto uomini.”
 
Le cattive prestazioni dei sistemi di riconoscimento facciale rispetto alle minoranze può essere ricondotto a un aspetto tecnico, quello della regolarizzazione. “Nel settaggio di un sistema di machine learning si cerca sempre di raggiungere un certo equilibrio tra complessità del modello e bontà della predizione,” spiega Trevisan. “È una sorta di applicazione del principio del Rasoio di Occam, che preferisce una ‘spiegazione’ dei dati (un modello, o una regola decisionale) più semplice ad una più complicata, anche se quella più semplice è leggermente meno precisa. In questo modo, per tornare al nostro esempio, il rischio è di accontentarsi di un sistema di riconoscimento facciale efficace per quasi tutti i maschi bianchi ma per pochissimi appartenenti a tutte le minoranze poco rappresentate nel set utilizzato per allenare il sistema.”
 
Infine, i modelli di machine learning sono davvero complessi e possono comprendere milioni, se non miliardi di parametri. Quando un modello prende una decisione, fa una predizione o una classificazione, non ne restituisce anche una motivazione. “Per ottenere predizioni ‘spiegabili’ e diagnosticare da che cosa derivino le decisioni discriminatorie servono competenze STEM molto specialistiche,” dice Trevisan.
 
Anche i migliori propositi possono, infatti, avere effetti paradossali. Gli algoritmi che cercano di individuare l’hate speech online, per esempio, finiscono spesso per classificare come offensive le parole che designano gli obiettivi degli attacchi (“donna” in caso di attacchi misogini o “gay”). Per fortuna, sono possibili alcune soluzioni, come evidenzia Debora Nozza nell’articolo qui sotto.
 
 
Immagine con link ad articoli su temi simili. L'immagine di una persona incappucciata e simboli che richiamano il cyber bullismo rimanda all'articolo intitolato: Le macchine sbagliano: come evitare che gay e donna vengano scambiate per parole offensive

Gli esempi di discriminazione algoritmica sono ancora relativamente poco frequenti e il rischio è di sottovalutarne la rilevanza. “Ma al ritmo a cui progredisce a tecnologia, presto gli esempi saranno quotidiani,” ammonisce Trevisan. “La situazione mi ricorda i temi della privacy negli anni ’90. Per un po’ sono stati trattati solo in ambito accademico, ma nel giro di pochi anni la problematica è esplosa. In quel caso l’Italia si è dimostrata all’avanguardia, grazie a studiosi come Stefano Rodotà. Speriamo che per la discriminazione algoritmica possa valere lo stesso.”
 
 
Immagine con link ad articoli su temi simili. L'immagine di un martello appoggiato su un computer rimanda all'articolo intitolato: Come proteggere i diritti dell'utente di fronte a un algoritmo

Come nel caso della privacy, spiega il costituzionalista Oreste Pollicino nel pezzo sopra, la legislazione europea mira allora a rafforzare la posizione dell’utente attraverso l’introduzione di obblighi procedurali per le piattaforme, e soprattutto per le cosiddette “very large platforms” che, raccogliendo più dati, hanno anche maggiori possibilità di profilazione.
 

di Fabio Todesco
Bocconi Knowledge newsletter

News

  • Caselli, Ventoruzzo e Mosca nel Comitato per la riforma dei mercati di capitali

    Al via le attivita' che condurranno al nuovo Testo Unico  

  • Assegnati i Premi di Eccellenza nella Ricerca Bocconi per il 2024

    Il riconoscimento va ai docenti le cui pubblicazioni sono state accettate dalle riviste o dagli editori di maggior prestigio  

Seminari

  Febbraio 2023  
Lun Mar Mer Gio Ven Sab Dom
    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28          

Seminari

  • Jacopo Perego: Competitive Markets for Personal Data

    JACOPO PEREGO - Columbia Business School

    Room 3-E4-SR03 (Rontgen)

  • Alessia Caponera - Multiscale CUSUM tests for time-dependent spherical random fields

    ALESSIA CAPONERA - LUISS

    Room 3-E4-SR03 (Roentgen)