2016-02-15 13 views
13

Qual è il modo corretto per utilizzare TensorFlow per previsioni in tempo reale in un'applicazione ad alto traffico.TensorFlow in produzione per le previsioni in tempo reale nell'app ad alto traffico: come utilizzare?

Idealmente, avrei un server/cluster in ascolto di tensorflow su una o più porte in cui posso connettermi dai server delle app e ottenere previsioni simili al modo in cui vengono utilizzati i database. L'addestramento dovrebbe essere fatto da cron jobs che alimentano i dati di addestramento attraverso la rete allo stesso server/cluster.

Come si usa effettivamente tensorflow nella produzione? Dovrei creare un setup in cui python è in esecuzione come server e utilizzare gli script Python per ottenere previsioni? Sono ancora nuovo a questo, ma ritengo che tale script dovrà aprire sessioni ecc. Che non è scalabile. (Sto parlando di centinaia di previsioni/sec).

Qualsiasi puntatore a informazioni pertinenti sarà molto apprezzato. Non sono riuscito a trovarne.

+2

Attualmente la versione pubblica di TensorFlow non si modifica in scala come è stato notato; in futuro dovrebbe basarsi su ciò che ho letto qui in SO. Timeframe sconosciuto. –

+0

Se ho capito bene, la versione non è scalabile in termini di avere più server in esecuzione in parallelo. La versione open source manca anche l'interfaccia per il livello dell'applicazione ?? Posso iniziare con un moderato rendimento ma ho ancora bisogno del modo giusto per interfacciarlo. – Nir

+1

Non so. Forse [mrry] (http://stackoverflow.com/users/3574081/mrry) vedrà questo e risponderà. Potresti anche voler cambiare la domanda in quanto ha 3 voti ravvicinati ora. Non te ne ho dato uno, ma penso che sia una domanda che non dovrebbe essere rimossa. –

risposta

15

Questa mattina, i nostri colleghi hanno rilasciato TensorFlow Serving su GitHub, che risolve alcuni dei casi d'uso citati. Si tratta di un wrapper distribuito per TensorFlow progettato per supportare la pubblicazione ad alte prestazioni di più modelli. Supporta sia l'elaborazione di massa che le richieste interattive dai server delle app.

Per ulteriori informazioni, consultare le esercitazioni basic e advanced.

+0

Ehi, @mrry, può anche essere ospitato localmente come su un'app per laptop o anche su un singolo computer (raspberry pi, intel joule, ecc.)? – Junior