Quindi Google ha appena rilasciato una nuova funzione per Google Now chiamata Now on Tap. Consente a un utente di ottenere aiuto contestuale da diverse app (The Verge video example).In che modo Google Now (Now on Tap) ricerca all'interno delle app?
- Fa semplicemente uno screenshot dell'app corrente e usa OCR per estrarre il testo?
- Dispone di "autorizzazione speciale di Google" che consente di leggere i valori all'interno delle viste?
Disclaimer: parlando solo come me stesso ... Non lo so per certo, ma Google in genere evita le funzionalità "speciali" in Android e tipicamente rende le API che utilizza lo stesso di quelle consumabili da altre app. La mia ipotesi è che usi le API di accessibilità esistenti in Android. Con queste API, è possibile leggere il contenuto delle visualizzazioni di testo e la descrizione dell'accessibilità di qualsiasi immagine visualizzata sullo schermo. –