Separazione di parti di sviluppo e produzione del progetto Django

Question

Sto costruendo un sito che si basa sull'output di un algoritmo di apprendimento automatico. Tutto ciò che è necessario per la parte del sito rivolta all'utente è l'output dell'algoritmo (etichette di classe per un insieme di elementi), che può essere facilmente memorizzato e recuperato dai modelli . L'algoritmo può essere eseguito una volta al giorno e non si basa sull'input dell'utente.

Quindi questa parte del sito dipende solo da e pacchetti correlati.

Ma sviluppo, tuning, e valutare l'algoritmo utilizza molti altri pacchetti python come scikit-learn, pandas, numpy, matplotlib, ecc richiede anche risparmio molti gruppi diversi di etichette di classe.

Queste dipendenze causare alcuni problemi durante la distribuzione di heroku, perché numpy richiede LAPACK/BLAS. Sembra anche come sarebbe buona norma avere il minor numero possibile di dipendenze in app distribuito.

Come posso separare la parte di apprendimento automatico dalla parte rivolta all'utente, ma, tuttavia, sono ancora abbastanza integrati da consentire l'utilizzo facile dei risultati dell'algoritmo?

Ho pensato di creare due progetti separati, e quindi scrivere in qualche modo sul database dell'utente, ma sembra che porti a problemi di manutenzione (gestione delle dipendenze, modifiche agli schemi di database, ecc.).

Per quanto ho capito, questo problema è leggermente diverso dall'utilizzo di impostazioni o database diversi per la produzione e lo sviluppo, poiché si tratta più della gestione di diversi set di dipendenze.

Answer 1

Basta muovere quello che abbiamo discusso alla risposta nel caso in cui le persone hanno la stessa domanda, il mio suggerimento è:

1. trascorrere qualche ora di definire quali sono le dipendenze per il vostro sito e per il codice dell'algoritmo.

2. Eseguire il dump dell'elenco delle dipendenze in requirements.txt per ciascun progetto.

3. Distribuirli in ambienti diversi in modo che i conflitti non avvengano.

4. Sviluppare alcuni endpoint API sul lato del sito utilizzando Django Rest Framework o Tastypie e lasciare che il codice dell'algoritmo aggiorni il modello utilizzando l'API. Utilizzare cron per eseguire regolarmente il codice dell'algoritmo e inviare i dati.

Answer 2

Creare un file di requisiti per ciascun ambiente e un file di requisiti di base per quei pacchetti condivisi da tutti gli ambienti.

$ mkdir requirements 
$ pip freeze > requirements/base.txt 
$ echo "-r base.txt" > requirements/development.txt 
$ echo "-r base.txt" > requirements/production.txt 

Poi regolare le sviluppo e di produzione dipendenze e installare ognuno in un ambiente adeguato

#change to your development virtualenv 
#$source .virtualenvs/development/bin/activate 
$ pip install -r requirements/development.txt 

#change to your production virtualenv 
#$source .virtualenvs/production/bin/activate 
$ pip install -r requirements/production.txt