La diatriba tra fan su quale sia il miglior assistente digitale tra quelli disponibili sul mercato è ovviamente infinita, ma un punto fermo lo mette ogni anno Loup Ventures col suo test, che sottopone 800 domande di vario argomento ai diversi assistenti digitali per stabilirne capacità di comprensione e percentuale di risposte corrette. Eliminata Cortana dall'equazione per mezzo della stessa Microsoft che non considera più il suo prodotto in competizione con gli altri, gli assistenti testati restano Google Assistant, ancora una volta vincitore, Apple Siri e Amazon Alexa, che ha chiuso i test in coda al gruppo.
La metodologia ha previsto 5 classi di domande, con informazioni riguardanti l'offerta locale, ad esempio di locali o ristoranti, richieste di acquisti o comunque di reperimento di prodotti commerciali, somministrazione di comandi vocali per funzioni specifiche, come creazione di promemoria, curiosità e indicazioni su percorsi stradali, ad esempio su come raggiungere una certa destinazione tramite mezzi pubblici. Il test è stato condotto su iOS 12.4 per quanto riguarda Siri, su Android 9 Pie per Google Assistant e nuovamente su iOS, con l'ultima versione disponibile per l'app, per Amazon Alexa.
Per Loup Ventures Google Assistant è ancora il re indiscusso, con una percentuale di comprensione del 100% e col 92,9% di risposte corrette. Segue Siri, rispettivamente col 99,8 e 83,1% e Amazon Alexa, con 99,9% e 79,8%. I numeri ci dicono anzitutto che tutti e tre i prodotti sono migliorati significativamente rispetto allo scorso anno, segno di un costante sviluppo da parte dei rispettivi sviluppatori. In particolare i progressi più marcati li ha fatti segnare proprio Alexa, che in alcuni settori ha registrato incrementi positivi di quasi il 20%. Benissimo anche la comprensione del testo, con Google che ha compreso correttamente tutte le 800 domande, Alexa che ne ha sbagliata una sola e Siri due. Per quanto riguarda i punti di forza in particolare, Google sembra svettare nel fornire informazioni, mentre Siri riesce meglio nell'esecuzione dei comandi.
Alexa ovviamente ha invece risentito negativamente il fatto di essere meno integrata nel sistema operativo, essendo eseguita come app. C'è infine anche da tenere conto che la categoria delle domande relative agli acquisti, in cui Alexa eccelle, ha avuto meno peso delle altre sul punteggio finale, perché secondo Loup Ventures, dai sondaggi più recenti risulta che il numero di utenti che utilizza realmente gli assistenti vocali per effettuare acquisti online è ancora trascurabile.