Utilizzo elevato della CPU Amazon S3 con 100 chiamate PutObject (.NET)

Question

Utilizziamo Amazon S3 per archiviare fino a 500 KB di dati. Abbiamo un servizio Web .NET 4.0 installato sull'istanza EC2, che rende la chiamata PutObject con dati 500K.

Il problema è che quando eseguiamo più di 100 chiamate simultanee (con tasti S3 univoci) a questo servizio, rispettivamente a S3, e la CPU di istanza EC2 sta raggiungendo il 100%. Abbiamo effettuato alcuni profiling sul servizio web e questo mostra che il 99% del tempo di elaborazione è preso dal metodo AmazonS3Client.PutObject.

Abbiamo provato a configurare il client S3 per utilizzare HTTP (anziché HTTPS predefinito), e abbiamo anche giocato un po 'con lo schema di generazione delle chiavi S3, ma nulla ha aiutato. Questo articolo Amazon S3 PutObject is very slow non ha aiutato neanche.

nostro S3 schema fondamentale è: "111_ [ID incrementare] .txt"

Questo ampio utilizzo della CPU non accade se usiamo un data più breve - come meno di 1K.

Puoi darci qualche consiglio su cosa si potrebbe fare per migliorare le prestazioni della CPU o dove cercare?

Ed ecco il codice sorgente di quella chiamata:

string fileName = "111_" + Id + ".txt"; 
using (AmazonS3 client = Amazon.AWSClientFactory.CreateAmazonS3Client(RegionEndpoint.XXXX)) 
     { 
      try 
      { 
PutObjectRequest request = new PutObjectRequest(); 
request.WithContentBody(dataRequest.Base64Data) 
       .WithBucketName(bucketName) 
       .WithKey(fileName); 

S3Response response = client.PutObject(request); 
response.Dispose(); 
      } 
      catch (AmazonS3Exception amazonS3Exception) 
      { 
       //Handle exceptiom... 
      } 
     } 

Grazie!

Answer 1

Vorrei provare la classe di livello superiore TransferUtility, piuttosto che le chiamate PutObject di basso livello. http://docs.aws.amazon.com/sdkfornet1/latest/apidocs/html/T_Amazon_S3_Transfer_TransferUtility.htm