Scansione completa di dynamoDb con boto3

Question

La mia tabella è di circa 220 MB con 250 k di record al suo interno. Sto cercando di recuperare tutti questi dati in python. Mi rendo conto che questo deve essere un processo batch bannato e ripetuto, ma non sono sicuro di come sia possibile impostare i batch in modo che inizino da dove era rimasto il precedente.

C'è qualche modo per filtrare la mia scansione? Da quello che ho letto il filtro si verifica dopo il caricamento e il caricamento si interrompe a 1 MB, quindi non sarei in grado di eseguire la scansione di nuovi oggetti.

Qualsiasi assistenza sarebbe gradita.

import boto3 
dynamodb = boto3.resource('dynamodb', 
    aws_session_token = aws_session_token, 
    aws_access_key_id = aws_access_key_id, 
    aws_secret_access_key = aws_secret_access_key, 
    region_name = region 
    ) 

table = dynamodb.Table('widgetsTableName') 

data = table.scan() 

Answer 1

scopre che Boto3 cattura il "LastEvaluatedKey" come parte della risposta restituita. Questo può essere usato come punto di partenza per una scansione:

data= table.scan(
    ExclusiveStartKey=data['LastEvaluatedKey'] 
) 

Ho intenzione di costruire un anello attorno a questo fino a quando i dati restituiti sono solo l'ExclusiveStartKey

Answer 2

boto3 offre paginators che gestiscono tutti i dettagli impaginazione per voi . Here è la pagina doc per lo scan paginator. In sostanza, si usa in questo modo:

import boto3 

client = boto3.client('dynamodb') 
paginator = client.get_paginator('scan') 

for page in paginator.paginate(): 
    # do something 

Answer 3

codice per l'eliminazione di DynamoDB tipo di formato come @kungphu menzionato.

import boto3 

from boto3.dynamodb.types import TypeDeserializer 
from boto3.dynamodb.transform import TransformationInjector 

client = boto3.client('dynamodb') 
paginator = client.get_paginator('query') 
service_model = client._service_model.operation_model('Query') 
trans = TransformationInjector(deserializer = TypeDeserializer()) 
for page in paginator.paginate(): 
    trans.inject_attribute_value_output(page, service_model) 

Answer 4

credo che la quanto riguarda la scansione tavolo Amazon DynamoDB documentation risponde alla tua domanda.

In breve, è necessario verificare la presenza di LastEvaluatedKey nella risposta. Ecco un esempio utilizzando il codice:

import boto3 
dynamodb = boto3.resource('dynamodb', 
          aws_session_token=aws_session_token, 
          aws_access_key_id=aws_access_key_id, 
          aws_secret_access_key=aws_secret_access_key, 
          region_name=region 
) 

table = dynamodb.Table('widgetsTableName') 

response = table.scan() 
data = response['Items'] 

while 'LastEvaluatedKey' in response: 
    response = table.scan(ExclusiveStartKey=response['LastEvaluatedKey']) 
    data.extend(response['Items']) 

Answer 5

riffing off di risposta di Jordon Phillips, ecco come ci si passa un FilterExpression con l'impaginazione:

import boto3 

client = boto3.client('dynamodb') 
paginator = client.get_paginator('scan') 
operation_parameters = { 
    'TableName': 'foo', 
    'FilterExpression': 'bar > :x AND bar < :y', 
    'ExpressionAttributeValues': { 
    ':x': {'S': '2017-01-31T01:35'}, 
    ':y': {'S': '2017-01-31T02:08'}, 
    } 
} 

page_iterator = paginator.paginate(**operation_parameters) 
for page in page_iterator: 
    # do something