Il sistema di riconoscimento facciale di Amazon, "Rekognition", è stato fortemente criticato da più di una cinquantina di luminari dell'intelligenza artificiale per l'alto margine di errore dimostrato con le donne e ancor di più con quelle di colore. Il tema è balzato agli onori della cronaca statunitense con tanta virulenza poiché gli specialisti, fra le cui file si trovano anche esperti di Google, Facebook, Microsoft e il "Turing" Yoshua Bengio, a fine marzo hanno co-firmato una lettera che chiede espressamente all'azienda di Seattle di interrompere la vendita del suo servizio alla polizia. Fra i primi clienti confermati infatti vi sono l'Orlando Police Department della Florida e il Washington County Sheriff Office dell'Oregon.
"Non ci sono leggi o standard richiesti per garantire che il riconoscimento sia usato in un modo che non violi le libertà civili", hanno scritto gli esperti. "Chiediamo ad Amazon di smettere di vendere Rekognition alle forze dell'ordine".
Vi sono due temi sul tavolo. Il primo riguarda il fatto che diversi test confermerebbero le criticità operative di Rekognition. A gennaio due ricercatori del Massachusetts Institute of Technology hanno pubblicato uno studio che dimostrerebbe che sbaglia nel discernere le donne dagli uomini nel 19% dei casi e che in presenza di donne di colore il margine sale al 31%. Test analoghi effettuati su servizi concorrenti di IBM, Microsoft e Megvii avrebbero manifestato problemi analoghi, ma una volta informate le aziende sono state approntate delle correzioni.
Il secondo tema è quello della mancanza di una regolamentazione e di standard condivisi. A conferma anche la disputa sui test realizzati dal MIT. "La risposta alle ansie dovute alle nuove tecnologie non è quella di eseguire test incoerenti con il modo in cui il servizio è progettato per essere utilizzato, e di amplificare le conclusioni false e fuorvianti del test attraverso i media", ha dichiarato Matthew Wood di Amazon. I ricercatori hanno risposto ad Amazon di "aver travisato i dettagli tecnici" dello studio.
Brad Smith, responsabile legale e presidente di Microsoft, a febbraio ha spiegato durante un incontro alla Cornell Tech di New York che il loro sistema di riconoscimento facciale è stato aggiornato a seguito di alcuni test effettuati dal MIT – funzionava meglio con uomini dalla pelle chiara rispetto a donne con la pelle scura – ed era pronto a concorrere nel mercato. Dopodiché l'azienda ha deciso di defilarsi poiché vi era il rischio di violare i diritti dei cittadini. Ancora oggi non esiste una legge che obblighi gli inquirenti a usare il riconoscimento facciale solo a seguito di un mandato di un giudice. Insomma, sotto il profilo normativo non viene assicurata ancora una trasparenza adeguata, secondo gli esperti.
Amazon ha risposto di non aver ancora ricevuto alcuna segnalazione di uso improprio di Rekognition da parte delle forze dell'ordine e che l'attuale policy aziendale vieta ai clienti di utilizzare i propri servizi in modi che violano le leggi.