Equivale a get_contents_to_file in boto3

Question

In boto3, esiste un equivalente di get_contents_to_file, che copia il contenuto di un oggetto in un handle di file?

In boto, se ho un oggetto S3 key, posso copiare il contenuto in un file temporaneo con:

from tempfile import TemporaryFile 
key = code_that_gets_key() 

with TemporaryFile() as tmp_file: 
    key.get_contents_to_file(key, tmpfile) 

non ho trovato un equivalente in boto3.

Sono stato in grado di sostituire l'utilizzo di get_contents_to_filename con download_file. Tuttavia, questo copre il caso in cui fornisco il nome del file. In questo caso, voglio fornire l'handle del file come argomento.

Attualmente, posso ottenere il codice per lavorare in boto3 scorrendo sul corpo come segue:

with TemporaryFile() as tmp_file: 
    body = key.get()['Body'] 
    for chunk in iter(lambda: body.read(4096), b''): 
     filehandle.write(chunk) 

Esiste un modo migliore per fare questo in boto3?

Answer 1

A partire dal V1.4.0 c'è una funzione download_fileobj che fa esattamente quello che vuoi. Come per la documentazione formale:

import boto3 
s3 = boto3.resource('s3') 
bucket = s3.Bucket('mybucket') 
obj = bucket.Object('mykey') 

with open('filename', 'wb') as data: 
    obj.download_fileobj(data) 

L'operazione è disponibile anche sul bucket resource e s3 client così, ad esempio:

import boto3 
s3 = boto3.resource('s3') 
bucket = s3.Bucket('mybucket') 

with open('filename', 'wb') as data: 
    bucket.download_fileobj('mykey', data) 

Answer 2

La risposta corretta sarebbe quella di utilizzare NamedTemporaryFile invece di TemporaryFile:

with NamedTemporaryFile() as tmp_file: 
    file_name = tmp_file.name # This is what you are looking for 

Ulteriori documenti qui: https://docs.python.org/2/library/tempfile.html

Answer 3

risposta di Pietro è corretta, ma vorrei sottolineare che attualmente molto di AWS non ha distribuito il boto3 1.4, in particolare AWS Lambda.

Questo non vi impedisce di aggiornare al volo, ma nel caso in cui si sta runing codice su nuove installazioni assicurarsi di controllare che

boto3.__version__ >= '1.4.0' 

e aggiornare la biblioteca, se non. Spero che questo sarà risolto presto e questo sarà discutibile.