La polizia di Detroit ha arrestato la 32enne Porcha Woodruff, madre di due figli e incinta del terzo, e l’ha poi interrogata e trattenuta per 11 ore. Non aveva fatto proprio nulla, ma un software l’aveva indicata come possibile colpevole di rapina.
Non è la prima volta che il riconoscimento facciale sbaglia e porta a all’arresto di una persona innocente, ma non si tratta solo del software. Ci sono anche gli uomini e le donne delle FFOO che seguono supinamente le indicazioni della macchina, apparentemente senza applicare il minimo senso critico o anche solo un po’ di buon senso. Sarà anche vero che a un agente si chiede prima di tutto che segua gli ordini, ma non può essere una scusa per violare i diritti di una cittadina innocente.
In questo caso la situazione poi è surreale: Woodruff è palesemente incinta, quasi al termine (pare che abbia avuto delle contrazioni in cella), mentre la donna che si vede nel video non lo è. Eppure nessuno degli agenti coinvolti sembra aver voluto fare lo sforzo (minimo) di notare il dettaglio.
Woodruff ha potuto uscire dopo aver pagato una cauzione di 100.000 dollari, ma un mese dopo le accuse sono state archiviate. La donna, che è stata anche ricoverata in conseguenza dell’incarcerazione, ha denunciato la città di Detroit e il capo della polizia per arresto illegittimo.
Stando al New York Times questo è almeno il sesto caso in cui una persona si vede accusata di qualcosa per un errore del software. In tutti i casi le vittime sono persone di colore - uno dei molti problemi legati ai software di machine learning, ai set di dati utilizzati e alle persone che curano l’addestramento dei software.
Però ci sono anche le persone, gli agenti e i magistrati che mettono in pratica l’arresto. Dovrebbero aver capito ormai che questi software sono poco affidabili, e dovrebbero dunque essere un po’ più prudenti prima di arrestare qualcuno.
Cercare ulteriori prove dovrebbe essere la norma, e invece a volte queste persone agiscono come se quella del software fosse un’indicazione infallibile. Chiaramente non lo è, e comportarsi come se lo fosse è un errore.
Il fatto che il problema riguardi quasi esclusivamente chi ha la pelle scura, poi, rende la questione ancora più delicata, e a maggior ragione bisognerebbe applicare più prudenza.
Un rapporto del 2022 della Georgetown Law sull'uso del riconoscimento facciale nelle forze dell'ordine ha rilevato che "nonostante 20 anni di ricorso al riconoscimento facciale [...] non è ancora stata stabilita l'affidabilità del riconoscimento facciale. [...].(il riconoscimento facciale) può essere particolarmente soggetto a errori derivanti dal giudizio umano soggettivo, da pregiudizi cognitivi, da prove di bassa qualità o manipolate e da una tecnologia poco performante [...]. non funziona abbastanza bene da servire in modo affidabile gli scopi per i quali le stesse forze dell'ordine vogliono usarlo".
Sapendo che uno strumento non funziona, perché continuare a farci affidamento? Benj Edwards su ArsTechnica suggerisce che potrebbe trattarsi di automation bias, ovvero la tendenza a fidarsi delle macchine, nonostante le potenziali prove del contrario. Un po’ come quando vuoi girare a destra perché lo dice il navigatore ma lì c’è un ponte crollato, e finisci nel fiume sottostante.
Alcune città in passato hanno anche vietato l’uso di questi software, ma secondo Reuters ora stanno ricominciando a usarli, in parte perché ricevono pressioni da parte delle aziende produttrici.
Immagine di copertina: ceramaama