ChatBot, umani e IA 

• Un utente apre una chatbox per chiedere assistenza, ma si trova forzatamente etichettato come “signore” o “signora”, senza alcuna possibilità di scelta. Già immaginiamo possibili levate di scudi.
• Un altro riceve offerte personalizzate basate su un italiano incerto: il sistema ha dedotto che è straniero e lo tratta con meno formalità, in modo semplificato, a tratti condiscendente.
• Un terzo, in cerca di lavoro, viene escluso da una promozione perché nel suo profilo è stata intercettata la parola “disoccupato” e l’algoritmo l’ha bollato come cliente a basso potenziale.

Potrebbe interessarti > Il Mercato delle Chatbot: Una Rivoluzione da 63 Miliardi di Dollari nei Prossimi 5 Anni

Tutto ciò potrebbe accadere anche senza che nessuno l’abbia voluto davvero. Basta una tassonomia povera, un’ontologia distorta, o una serie di keyword mal interpretate. Oppure un sistema che prende troppo alla lettera un algoritmo che impone di rispettare i precetti religiosi senza compiere alcuna analisi critica.

E allora, una domanda è inevitabile: chi è responsabile di questi comportamenti discriminatori? Ergo: il sistema di intelligenza artificiale è stata sviluppata internamente, con consapevolezza delle sue logiche e dei suoi limiti? Oppure si tratta di un sistema fornito da terzi, già addestrato, importato come soluzione chiavi in mano, con il suo carico di bias e scelte nascoste?

Perché, attenzione: che sia “fatta in casa” o “presa in affitto”, la responsabilità rimane dell’azienda che la utilizza. E se un algoritmo discrimina, profila in modo improprio, o deduce dati sensibili senza base giuridica, non sarà l’AI a ricevere una segnalazione. Sarà il titolare del trattamento che, suggerisco, dovrà cautelarsi al momento della sottoscrizione di un contratto con il fornitore in relazione alle responsabilità e alla loro ripartizione.

Ecco perché serve un cambio di paradigma. Non basta più sapere cosa fa un algoritmo, ma capire come lo fa, con quali logiche, con quali assunzioni implicite e su quali basi dati si fonda. Ogni comportamento del sistema, ogni risposta automatica, ogni filtro applicato a un profilo utente, costituisce un trattamento di dati personali. E se quel trattamento discrimina, se deduce informazioni sensibili, se opera sulla base di correlazioni arbitrarie, non si può liquidare tutto con un "è colpa del sistema".

Leggi anche questo articolo > L'intelligenza artificiale: sfide etiche

In azienda, la distinzione tra titolare e fornitore non esonera dalla responsabilità di ciò che si mette in campo. Non è più sufficiente installare una soluzione chiavi in mano e confidare che tutto sia a norma. Bisogna sapere cosa accade dentro quella scatola nera. Quando si implementa un sistema che interagisce con gli utenti, che apprende dai comportamenti e li classifica, occorre essere consapevoli del fatto che una parola può diventare un'etichetta, una domanda può attivare un pregiudizio, una risposta può generare un danno.

Potrebbe interessarti > L'Intelligenza Artificiale e la Privacy: Opportunità e Rischi per le PMI

Conclusioni

E se l’intelligenza artificiale viene istruita a rispondere nel rispetto di un codice morale o religioso rigido, senza alcuna mediazione critica, allora il rischio non è solo quello di generare risposte imprecise o inappropriate, ma di trasformare un servizio in uno strumento discriminatorio. Potrebbe accadere anche in buona fede, senza alcuna volontà di escludere, ma non è questo il punto. Il punto è che il danno può comunque verificarsi. E l’utente, che oggi ha accettato tutto con un click, domani potrebbe impugnare quell’errore.

In quel momento, l’algoritmo resterà al suo posto. Magari continuerà a rispondere. Ma non sarà lei che verrà portata in tribunale perché ha discriminato qualcuno. Sarà l’azienda. Sarà chi ha scelto di usarla, senza sapere davvero come funzionava.