Come specificare l'ID chiave di accesso AWS e la chiave di accesso segreta come parte di un URL sazon amazon

Question

Sto passando le cartelle di input e output come parametri per mappare il programma di conteggio parole dalla pagina web.

Ottenere sotto l'errore:

HTTP Status 500 - Request processing failed; nested exception is java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3n URL, or by setting the fs.s3n.awsAccessKeyId or fs.s3n.awsSecretAccessKey properties (respectively).

Answer 1

La documentazione ha il formato: http://wiki.apache.org/hadoop/AmazonS3

s3n://ID:SECRET@BUCKET/Path 

Answer 2

vi suggerisco di utilizzare questo:

hadoop distcp \ 
-Dfs.s3n.awsAccessKeyId=<your_access_id> \ 
-Dfs.s3n.awsSecretAccessKey=<your_access_key> \ 
s3n://origin hdfs://destinations 

Funziona anche come una soluzione per il occorrenza di barre nella chiave. i parametri con il tasto ID e l'accesso devono essere forniti esattamente in questo ordine: dopo disctcp e prima origine

Answer 3

Passando nelle credenziali AWS come parte del Rio delle Amazzoni S3N URL non viene normalmente consigliato, la sicurezza saggio. Soprattutto se quel codice viene inviato a un servizio di deposito di repository (come github). Idealmente impostare le credenziali nella conf/core-site.xml come:

<configuration> 
    <property> 
    <name>fs.s3n.awsAccessKeyId</name> 
    <value>XXXXXX</value> 
    </property> 

    <property> 
    <name>fs.s3n.awsSecretAccessKey</name> 
    <value>XXXXXX</value> 
    </property> 
</configuration> 

o reinstallare awscli sulla vostra macchina.

pip install awscli