Nodo upload di file s3 AWS-sdk dimensioni

Question

Quando si utilizza il plugin NPM AWS-SDK per nods.js, posso caricare un pdf sul 50kb con il seguente codice (per AWS s3):

var params = { 
      Bucket: BUCKET, 
      Key: pdf_key, 
      Body: file, 
      ContentType: 'application/pdf' 
     }; 
     var s3 = new AWS.S3(); 

     s3.putObject(params, function(error, data) { 
      console.log(data); 
      console.log(error); 
      if (error) { 
       console.log(error); 
       callback(error, null); 
      } else { 
       callback(null, pdf_key); 
      } 
     }); 

Ma quando caricando un pdf di 11mb, anche con l'indicazione dello ContentLength, il caricamento continua per sempre, anche con un timeout di 2 minuti.

La domanda è: come faccio a far sì che aws s3 accetti il ​​grande file pdf?

UPDATE

non ho ancora trovato alcuna documentazione o anwers per la domanda.

UPDATE 2

Accetterò le risposte che lo show di questo o un altro quadro che possono fare questo. Avrò bisogno di quel framework per poter permettere anche l'auth-read dell'oggetto.

UPDATE 3 Ho funzionato per ora ma non ho trovato una ragione per cui non dovrebbe funzionare.

Grazie in anticipo!

Answer 1

Il collegamento a S3 non è veloce e quindi, a seconda delle fluttuazioni della rete, è possibile ottenere timeout e altri comportamenti strani.

Il codice che hai fornito va bene, ma potresti sfruttare i caricamenti multipart che potrebbero risolvere problemi soprattutto con i file> 5MB.

Ho effettuato a rough implementation of a multipart upload e ho anche fatto riprovare il caricamento di qualsiasi parte in errore fino a 3 volte, questo funzionerà anche per file più piccoli di 5 MB.