Realtà aumentata e deep learning potrebbero cambiare faccia all'assistenza sanitaria in tutto il mondo, specie nelle aree meno sviluppate. Nel corso dell'Annual Meeting of the American Association for Cancer Research (AACR), Google ha presentato i risultati di uno studio in cui ha dimostrato che una rete neurale convoluzionale è in grado di rilevare le metastasi del cancro al seno nei linfonodi con un livello di accuratezza paragonabile a un patologo esperto. Ma c'è di più.
Dato che la visione diretta del tessuto con un microscopio ottico è il mezzo predominante con cui un patologo diagnostica la malattia, Google ha creato un sistema per avere una rappresentazione digitale del tessuto microscopico. E così l'azienda ha sviluppato un microscopio a realtà aumentata - Augmented Reality Microscope (ARM) - che "potrebbe aiutare ad accelerare e democratizzare l'adozione di strumenti di deep learning tra i patologi in tutto il mondo".
La piattaforma consiste di un microscopio ottico modificato che consente l'analisi delle immagini in tempo reale e la presentazione dei risultati degli algoritmi di apprendimento automatico direttamente nel campo visivo. Il medico vede il campione attraverso l'oculare e l'algoritmo di machine learning proietta la sua uscita nel percorso ottico in tempo reale. La proiezione digitale è visivamente sovrapposta all'immagine originale.
È importante sottolineare che la piattaforma può essere riadattata ai microscopi ottici esistenti che si trovano negli ospedali e nelle cliniche usando componenti a basso costo e disponibili.
I moderni modelli di deep learning come quelli basati su TensorFlow consentono a un'ampia gamma di modelli preallenati di funzionare su questa piattaforma. "È importante dire che gli aggiornamenti dell'algoritmo e il feedback visivo sono rapidi: la nostra implementazione attuale viene fatta a circa 10 fps, pertanto il tutto si aggiorna senza interruzioni mentre l'utente esegue la scansione del tessuto spostando il vetrino e / o modificando l'ingrandimento".
"In linea di principio ARM può fornire un'ampia gamma di feedback visivi, inclusi testo, frecce, contorni, mappe di calore o animazioni ed è in grado di eseguire molti tipi di algoritmi di apprendimento automatico volti a risolvere diversi problemi come la rilevazione di oggetti, la quantificazione o classificazione", aggiunge Google.
Come dimostrazione dell'utilità di questo microscopio a realtà aumentata, Google l'ha configurato per svolgere due diversi algoritmi di rilevamento del cancro: uno per rilevare metastasi del cancro al seno in campioni di linfonodi e un altro per scovare il cancro alla prostata in campioni di prostatectomia. I risultati raggiunti sono stati più che incoraggianti, con risultati solo di poco inferiori rispetto ai metodi usati tradizionalmente per la diagnosi.
"Riteniamo possibile migliorare ulteriormente le prestazioni di questi modelli con un ulteriore allenamento con immagini digitali acquisite direttamente dallo stesso ARM. Crediamo che il microscopio abbia un grande potenziale, in particolare per la diagnosi di malattie infettive, tra cui la tubercolosi e la malaria, nei paesi in via di sviluppo".
Naturalmente, dato che i microscopi ottici che trovato spazio in settori diversi da quello medico, anche ARM potrebbe essere adattato a un'ampia gamma di applicazioni, tra cui lo studio dei materiali.