Appiattimento dei dati di Google Analytics (con campi ripetuti) non funziona più

Question

Abbiamo un account Google Analytics premium, che ci darà accesso ai dati degli eventi a livello di riga. Questi dati vengono esportati giornalmente su Google Bigquery e per ogni giorno verrà creata una nuova tabella in un set di dati.

Fino a una settimana fa, siamo stati in grado di esportare questi dati di Google Analytics in CSV ridimensionandoli a una tabella di gestione temporanea temporanea e quindi esportarli in CSV. La query abbiamo usato per fare così è stato in questo modo:

SELECT * FROM 
    flatten([xxxxxxxx.ga_sessions_20140829],hits), 
    flatten([xxxxxxxx.ga_sessions_20140828],hits), 
    flatten([xxxxxxxx.ga_sessions_20140827],hits), 
    flatten([xxxxxxxx.ga_sessions_20140826],hits) 

Ieri ho notato questa query sarà ora gettare un errore:

Cannot output multiple independently repeated fields at the same time. Found customDimensions_value and hits_product_productSKU 

A quanto pare qualcosa è cambiato per quanto riguarda la funzione di appiattire(), come hits_product_productSKU è figlio del campo dei colpi.

Ho anche provato alcune vecchie query presenti nella cronologia delle query, ma sono anche danneggiate. Non c'è alcuna nota di rilascio che menzioni alcun cambiamento, quindi cosa sta succedendo?

Come posso esportare nuovamente tutti i file di esportazione BigQuery di Google Analytics?

Answer 1

Questo è in realtà il risultato di un bugfix ho presentato la scorsa settimana, e vi impedisce di ottenere risultati non corretti.

BigQuery per impostazione predefinita appiattisce tutti i risultati della query prima di restituirli, ma si desidera appiattire un campo ripetuto in modo indipendente per evitare un'espansione di dati tra più prodotti. Il bug era che i nostri controlli per più campi ripetuti non riuscivano a tenere conto della ripetitività dei record padre in alcuni casi, il che ci ha portato a non appiattire alcuni campi ripetuti in modo indipendente. Ciò significava che potevamo restituire righe piatte dove i valori ripetuti indipendentemente venivano effettivamente "appiattiti" in valori ripetuti, invece di generare il prodotto incrociato, che in realtà è un risultato errato.

Quello che vedete qui è il risultato del controllo più severo: avete (almeno) due campi ripetuti nello schema di output prima di tentare di appiattire i risultati.

Un'altra cosa importante da notare è che la funzione FLATTEN ([valore tabella], [campo]) appiattisce solo la ripetitività del campo specificato come secondo argomento. Quando dici appiattisci ([xxxxxxxx.ga_sessions_20140829], hit), stai appiattendo solo il record "hits". Se vuoi anche appiattire i suoi figli ripetuti (prodotto, promozione, ecc.) Devi aggiungere esplicitamente un altro appiattimento per quei campi, come:

FLATTEN (FLATTEN ([xxxxxxxx.ga_sessions_20140829], colpi), hits.prodotto)

-

avete un paio opzioni per rendere il vostro esempio di lavoro:

1) Selezionare un numero inferiore di campi. Se ti interessa solo ottenere l'output appiattito di alcuni campi, puoi rimuovere i campi ripetuti in modo indipendente dai risultati della query selezionando esplicitamente solo i campi che ti interessano.

2) Aggiungere altri FLATTEN. Avrai bisogno di appiattire su ogni campo ripetuto, che sembra includere almeno colpi, hits.product e customDimensions. Potresti scoprire che il messaggio di errore si lamenterà di diversi campi ripetuti: aggiungi altri FLATTEN sui campi ripetuti nello schema finché non funziona.

Answer 2

Sospetto che le tabelle generate da Google Analytics Premium siano state integrate con l'aggiunta di nuove colonne. L'aggiunta di colonne non dovrebbe essere un problema, a meno che le tue query non utilizzino il selettore * e una delle nuove colonne contenga valori nidificati.

Soluzione consigliata: anziché utilizzare *, chiedere esplicitamente le colonne necessarie.

Answer 3

Se si sta utilizzando la console Web BigQuery, selezionare una tabella Destinazione, fare clic su gettare grande Risultati e deselezionare Flatten Risultati.

Se si sta utilizzando lo strumento da riga di comando bq:

bq query --allow_large_results --noflatten --destination_table NAME_OF_TABLE "SELECT * from FLATTEN([dataset], hits)" 

Answer 4

È necessario utilizzare appiattire la query prima della connessione. Basta scegliere i campi che sono menzionati nel l'errore e utilizzare l'appiattimento nidificato:

SELECT * FROM 
flatten(flatten(flatten([xxxxxxxx.ga_sessions_20140829],hits),customDimensions_value),hits_product_productSKU), 
flatten(flatten(flatten([xxxxxxxx.ga_sessions_20140828],hits),customDimensions_value),hits_product_productSKU), 
flatten(flatten(flatten([xxxxxxxx.ga_sessions_20140827],hits),customDimensions_value),hits_product_productSKU), flatten(flatten(flatten([xxxxxxxx.ga_sessions_20140826],hits),customDimensions_value),hits_product_productSKU) 

Answer 5

standardsql

Per coloro che vogliono importare i dati GA ad un database relazionale: Si prega di essere consapevole del fatto che uno schema annidato è in realtà mettere più tabelle relazionali in una struttura nidificata - sono equivalenti, quindi l'appiattimento semplice non è la soluzione migliore qui: vuoi separato di nuovo i tavoli! In questo modo si risparmia molto spazio nell'archiviazione e le query potrebbero essere più veloci.

Si può pensare di dati di GA che sono 3 tabelle relazionali:

• sessioni tavolo
• tavolo colpi tavolo
• prodotti

Per ottenere tabella delle sessioni è possibile usare qualcosa come

-- session table 
SELECT 
    * EXCEPT(hits, 
    customDimensions), 
    CONCAT('{',(
    SELECT 
     STRING_AGG(CONCAT(CAST(index AS string),':"',value,'"')) 
    FROM 
     t.customdimensions),'}') as customDimensions 
FROM 
    `project.dataset.ga_sessions_20171031` AS t 

customDimensions è aggregato a una stringa json.

Allo stesso modo con la tabella di risultati:

-- hits table 
SELECT 
fullvisitorid, 
visitid, 
visitstarttime, 
h.* EXCEPT(product, 
customdimensions, customMetrics, customVariables, promotion, experiment), 
CONCAT('{',(
    SELECT 
    STRING_AGG(CONCAT(CAST(index AS string),':"',value,'"')) 
    FROM 
    h.customdimensions),'}') AS hitsCustomDimensions, 
CONCAT('{',(
    SELECT STRING_AGG(CONCAT(CAST(index AS string),':',cast(value as string))) 
    FROM h.custommetrics),'}') AS hitsCustomMetrics 
FROM 
`project.dataset.ga_sessions_20171031` AS t, 
t.hits AS h 

È possibile aggiungere la promozione e sperimentare come ho fatto con customDimensions utilizzando un sub-select.

Registrati sessioni con colpi utilizzando una concatenazione di fullVisitorId + visitstarttime/visitid (sessioni GA includono mezzanotte spaccata: utilizzare visitStartTime invece di visitid Se si desidera ignorare la mezzanotte uso frazionato visitid - rimane lo stesso, nonostante la scissione)

per i prodotti che ci si aggiunge il numero di hit al tuo 'id di sessione' per ottenere un identificatore univoco:

-- product table 
SELECT 
    fullvisitorid, 
    visitid, 
    visitstarttime, 
    h.hitNumber, 
    p.* EXCEPT(customdimensions, customMetrics), 
    CONCAT('{',(
    SELECT STRING_AGG(CONCAT(CAST(index AS string),':"',value,'"')) 
    FROM p.customdimensions),'}') AS productsCustomDimensions, 
    CONCAT('{',(
    SELECT STRING_AGG(CONCAT(CAST(index AS string),':',cast(value as string))) 
    FROM p.custommetrics),'}') AS productsCustomMetrics 
FROM 
    `project.dataset.ga_sessions_20171031` AS t, 
    t.hits AS h, h.product as p 

Ora avete 3 relazionali/tavoli "flat" si può aderire come necessario in qualsiasi relazionale db.