Sto cercando il modo più veloce per trasferire ~ 100.000 immagini da un server al mio bucket Amazon S3.Trasferimento di 100.000 immagini su S3. Qual è il modo più veloce?
Sarebbe quello di scorrere ogni immagine e fare una richiesta PUT separata? Speravo che ci fosse un modo più veloce, ma non ho trovato nulla.
Non avendo familiarità con S3, ma se non esiste uno strumento per il caricamento collettivo, è possibile velocizzare le cose eseguendo il looping delle immagini in più processi paralleli, fino a raggiungere la massima connessione di rete.
È possibile provare a utilizzare il controllo di caricamento batch Image Uploader. O se questo è un compito occasionale, ritengo di utilizzare alcuni Amazon sample.
In ogni caso, se si desidera utilizzare la richiesta PUT/POST per il caricamento, un file per richiesta, è la restrizione API di Amazon e mi sembra che non ci sia nulla da fare.
Forse provare la posta di lumaca?
Noi (CloudOpt) costruirono una soluzione per ottimizzare il trasferimento dei dati in Amazon S3 chiamato CloudOptimizer. Utilizza la deduplica simmetrica, la compressione e un mucchio di altre tecniche. Dai un'occhiata e fammi sapere cosa ne pensi. Mi piacerebbe ricevere il tuo feedback.
s3funnel. Ho usato questa settimana scorsa per trasferire circa 3.000.000 di immagini a S3. È multi-thread, quindi tende ad essere molto veloce. Ho testato un certo numero di strumenti commerciali e open source, e s3funnel è di gran lunga il migliore IMO.
Non vedo un modo per puntare s3funnel in una directory: hai dovuto costruire manualmente un elenco dei tuoi 3.000.000 di file? –
Non ho usato s3funnel per un po '- lo strumento awscli ora ha le opzioni di sincronizzazione S3, quindi l'ho usato. –
IIRC correttamente, ho solo bisogno di trasferire i file alla radice del bucket in questo caso. –
Cosa c'è che non va con ftp? –
@Robert Massaioli FTP non è supportato in S3. –