Ottenere "Query troppo grande" in BigQuery

Question

Sto memorizzando i dati degli eventi in BigQuery, suddivisi per giorno - una tabella al giorno. La seguente query non è riuscita:

select count(distinct event) 
from TABLE_DATE_RANGE(my_dataset.my_dataset_events_, SEC_TO_TIMESTAMP(1391212800), SEC_TO_TIMESTAMP(1393631999)) 

Ogni tabella ha dimensioni di circa 8 GB.

Qualcun altro ha riscontrato questo errore? Sembra che sia limitato dalle dimensioni della tabella, perché in questa query l'ho limitato solo a una colonna. Quando uso un intervallo temporale più piccolo, funziona ... ma l'intero punto di utilizzo di BigQuery era il suo supporto per dataset di grandi dimensioni.

Answer 1

"Query troppo grande" significa in questo caso che TABLE_RANGE viene espanso internamente a troppe tabelle, generando una query interna troppo grande per essere elaborata.

Questo ha 2 soluzioni:

• Query meno tavoli (si potrebbe aggregare queste tabelle in un uno più grande?).
• Attendi fino a quando il team BQ risolve internamente questo problema. Invece di utilizzare una soluzione alternativa, dovresti essere in grado di eseguire questa query invariata. Solo non oggi :).