select count (*) viene eseguito in problemi di timeout in Cassandra

Question

Forse è una domanda stupida, ma non sono in grado di determinare le dimensioni di un tavolo in Cassandra.

Questo è quello che ho provato:

select count(*) from articles;

Funziona benissimo se la tabella è piccola, ma una volta che si riempie, ho sempre incorrere in problemi di timeout:

cqlsh:

• OperationTimedOut: errors = {}, last_host = 127.0.0.1

DBeaver:

• Run 1: 225.000 (7477 ms)
• Run 2: 233.637 (8265 ms)
• Run 3: 216,595 (7269 ms)

suppongo che colpisce un certo timeout e abortisce. Il numero effettivo di voci nella tabella è probabilmente molto più alto.

Sto testando un'istanza Cassandra locale completamente inattiva. Non mi dispiacerebbe se deve eseguire una scansione completa della tabella e non risponde durante quel periodo.

C'è un modo per contare in modo affidabile il numero di voci in una tabella Cassandra?

Sto usando Cassandra 2.1.13.

Answer 1

Per quanto ti vedo problema collegato al timeout di cqlsh : OperationTimedOut: errori = {}, last_host = 127.0.0.1

è possibile semplice aumento con opzioni:

--connect-timeout=CONNECT_TIMEOUT 
         Specify the connection timeout in seconds (default: 5 
         seconds). 
--request-timeout=REQUEST_TIMEOUT 
         Specify the default request timeout in seconds 
         (default: 10 seconds). 

Answer 2

Qui è la mia soluzione attuale:

COPY articles TO '/dev/null'; 
... 
3568068 rows exported to 1 files in 2 minutes and 16.606 seconds. 

---

Background: Cassandra supporti per export a table to a text file, per esempio:

COPY articles TO '/tmp/data.csv'; 
Output: 3568068 rows exported to 1 files in 2 minutes and 25.559 seconds 

che corrisponde anche il numero di righe nel file generato:

$ wc -l /tmp/data.csv 
3568068 

Answer 3

La ragione è semplice:

quando si utilizza:

SELECT count(*) FROM articles; 

ha lo stesso effetto sul database come:

SELECT * FROM articles; 

Bisogna interrogare su tutti i nodi. Cassandra si imbatte semplicemente in un timeout.

È possibile modificare il timeout, ma non è una buona soluzione. (Per una volta va bene, ma non usarlo nelle tue normali domande.)

C'è una soluzione migliore: fai in modo che il tuo cliente conti le tue righe.Puoi creare un'app java dove conti le tue righe, quando le inserisci e inserisci il risultato utilizzando una colonna contatore in una tabella Cassandra.

Answer 4

C'è un modo per contare in modo affidabile il numero di voci in una tabella Cassandra?

risposta normale è non. Non è una limitazione di Cassandra ma una sfida difficile per i sistemi distribuiti per contare gli articoli unici in modo affidabile.

Questa è la sfida che algoritmi di approssimazione come l'indirizzo HyperLogLog.

Una possibile soluzione è quella di utilizzare contatore a Cassandra per contare il numero di righe distinte, ma anche contatori può miscount in alcuni casi angolo quindi si otterrà un errore di qualche%.

Answer 5

Si tratta di un buon programma di utilità per le righe contare che evita i problemi di timeout che si verificano durante l'esecuzione di un grande COUNT(*) in Cassandra:

https://github.com/brianmhess/cassandra-count

Answer 6

È possibile utilizzare Cassandra nodetool:

nodetool tablestats <keyspaceName>.<tableName>

E ottenere in risposta:

Numero di tasti (stima): Numero