Lettura in un file con datalab di Google

Question

Sto cercando di utilizzare Google Datalab per leggere in un file in ipython, il pd.read_csv() di base in quanto non riesco a trovare il percorso del file. Lo ho localmente e anche caricato su Google Cloud Storage in un secchio.

Ho eseguito il seguente comando per capire dove mi trovo

os.getcwd() 

dà '/content/myemail@gmail.com'

os.listdir('/content/myemail@gmail.com') 

dà [ '.git', '.gitignore' , 'Datalab', 'Ciao World.ipynb','] .ipynb_checkpoints

Answer 1

di seguito legge il contenuto dell'oggetto in una variabile stringa denominata text:

%%storage read --object "gs://path/to/data.csv" --variable text 

Poi

from cStringIO import StringIO 
mydata = pd.read_csv(StringIO(text)) 
mydata.head() 

Speriamo Pandas sosterranno "gs://" URL (come fa per s3:// attualmente per consentire la lettura direttamente dal magazzino Google Cloud.

ho trovato i seguenti documenti veramente utile:

https://github.com/GoogleCloudPlatform/datalab/tree/master/content/datalab/tutorials

Speranza che aiuta (appena iniziato con Datalab troppo, così forse qualcuno avrà un metodo più pulito a breve).

Answer 2

È anche possibile eseguire query BigQuery direttamente sui file CSV in Cloud Storage creando un oggetto wrapper FederatedTable. Questo è descritto qui:

https://github.com/GoogleCloudPlatform/datalab/blob/master/content/datalab/tutorials/BigQuery/Using%20External%20Tables%20from%20BigQuery.ipynb