BigQuery - Verifica se la tabella esiste già

Question

Ho un set di dati in BigQuery. Questo set di dati contiene più tabelle.

sto facendo le seguenti fasi di programmazione utilizzando l'API di BigQuery:

1. Interrogare le tabelle del set di dati - Dal momento che la mia risposta è troppo grande, sto consentendo parametro allowLargeResults e deviando la mia risposta a una tabella di destinazione .

2. Sto quindi esportando i dati dalla tabella di destinazione in un bucket GCS.

Requisiti:

• Supponiamo che il mio processo non riesce al punto 2, vorrei ri-eseguire questo passaggio.

• Ma prima di eseguire nuovamente, vorrei verificare/verificare che la tabella di destinazione specifica denominata 'xyz' esista già nel set di dati.

• Se esiste, vorrei eseguire nuovamente il punto 2.

• Se esso non esiste, mi piacerebbe fare foo.

Come posso fare questo?

Grazie in anticipo.

Answer 1

Ecco un frammento di pitone che dirà se una tabella esiste:

def doesTableExist(project_id, dataset_id, table_id): 
    bq.tables().delete(
     projectId=project_id, 
     datasetId=dataset_id, 
     tableId=table_id).execute() 
    return False 

In alternativa, se preferisci non eliminazione della tabella nel processo, si potrebbe provare:

def doesTableExist(project_id, dataset_id, table_id): 
    try: 
    bq.tables().get(
     projectId=project_id, 
     datasetId=dataset_id, 
     tableId=table_id).execute() 
    return True 
    except HttpError, err 
    if err.resp.status <> 404: 
     raise 
    return False 

Se volete sapere dove bq venuto da, è possibile chiamare build_bq_client da qui: http://code.google.com/p/bigquery-e2e/source/browse/samples/ch12/auth.py

In generale, se si sta utilizzando t per verificare se è necessario eseguire un lavoro che modificherà la tabella, può essere una buona idea eseguire il lavoro in ogni caso e utilizzare WRITE_TRUNCATE come disposizione di scrittura.

Un altro approccio può essere quello di creare un ID lavoro prevedibile e ritentare il lavoro con quell'ID. Se il lavoro esiste già, il lavoro è già stato eseguito (si potrebbe voler ricontrollare per assicurarsi che il lavoro non abbia esito negativo, comunque).

Answer 2

Godetevi:

def doesTableExist(bigquery, project_id, dataset_id, table_id): 
    try: 
     bigquery.tables().get(
      projectId=project_id, 
      datasetId=dataset_id, 
      tableId=table_id).execute() 
     return True 
    except Exception as err: 
     if err.resp.status != 404: 
      raise 
     return False 

C'è una modifica in deroga.

Answer 3

Con my_bigquery essendo un'istanza della classe google.cloud.bigquery.Client (già sola autenticazione ed associato ad un progetto):

my_bigquery.dataset(dataset_name).table(table_name).exists() # returns boolean 

Si fa una chiamata API per verificare l'esistenza del tavolo tramite una richiesta GET

fonte: https://googlecloudplatform.github.io/google-cloud-python/0.24.0/bigquery-table.html#google.cloud.bigquery.table.Table.exists

funziona per me usando 0.27 del modulo di Google BigQuery Python

Answer 4

La soluzione di Alex F funziona su v0.27, ma non funzionerà con le versioni successive. Al fine di migrate to v0.28+, la soluzione di seguito funzionerà.

from google.cloud import bigquery 

project_nm = 'gc_project_nm' 
dataset_nm = 'ds_nm' 
table_nm = 'tbl_nm' 

client = bigquery.Client(project_nm) 
dataset = client.dataset(dataset_nm) 
table_ref = dataset.table(table_nm) 

def if_tbl_exists(client, table_ref): 
    from google.cloud.exceptions import NotFound 
    try: 
     client.get_table(table_ref) 
     return True 
    except NotFound: 
     return False 

if_tbl_exists(client, table_ref)