large-data-volumes

45calore

11risposta

Utilizzo di ScrollableResults di Hibernate per leggere lentamente 90 milioni di record

Ho semplicemente bisogno di leggere ogni riga di una tabella nel mio database MySQL usando Hibernate e scrivere un file basato su di esso. Ma ci sono 90 milioni di file e sono piuttosto grandi. Così s

java mysql hibernate large-data-volumes scrollableresults 2010-05-13

---

16calore

2risposta

batch JDBC Inserire OutOfMemoryError

Ho scritto un metodo insert() in cui sto cercando di utilizzare JDBC batch per l'inserimento di mezzo milione di record in un database MySQL: public void insert(int nameListId, String[] names) {

jdbc batch-file large-data-volumes out-of-memory 2010-02-09

---

5calore

1risposta

MySql: operare su molte righe utilizzando una lunga lista di PK compositi

Qual è un buon modo per lavorare con molte righe in MySql, dato che ho un lungo elenco di chiavi in ​​un'applicazione client che si connette con ODBC? Nota: la mia esperienza è in gran parte SQL Serve

mysql stored-procedures list large-data-volumes set-based 2010-02-11

---

6calore

1risposta

Can Apache Solr gestisce TeraByte Large Data

Sono un utente apache solr circa un anno. Ho usato solr per semplici strumenti di ricerca ma ora voglio usare solr con 5 TB di dati. Suppongo che i dati da 5 TB saranno 7 TB quando solr lo indicherò i

solr lucene large-data-volumes large-data 2012-01-12

---

30calore

8risposta

grandi quantità di dati in molti file di testo - come elaborare?

Ho grandi quantità di dati (alcuni terabyte) e accumuli ... Sono contenuti in molti file di testo piatto delimitati da tabulazioni (ciascuno di circa 30 MB). La maggior parte del lavoro consiste nella

python sql r large-files large-data-volumes 2010-05-30

---

12calore

10risposta

modo più veloce per cercare 1GB + una stringa di dati per la prima occorrenza di un modello in Python

C'è una stringa di 1 gigabyte di dati arbitrari, che si può presumere di essere equivalente a qualcosa come: 1_gb_string=os.urandom(1*gigabyte) Saremo cercando questa stringa, 1_gb_string, per un nu

python algorithm search large-data-volumes 2009-11-17

---

14calore

2risposta

Scarsa idea di trasferire un grande carico utile utilizzando i servizi web?

I gather che non esiste un limite alla quantità di dati che è possibile inviare quando si utilizza REST tramite POST o GET. Sebbene non abbia utilizzato REST o servizi web, sembra che la maggior parte

web-services rest large-data-volumes 2009-09-30

---

6calore

4risposta

Alternative a enormi elenchi a discesa (24.000+ articoli)

Nella sezione di amministrazione, quando si modificano gli articoli, devo allegare ogni articolo a un articolo principale. Ho un elenco di oltre 24.000 articoli principali, elencati in ordine alfabeti

drop-down-menu large-data-volumes 2010-08-03

---

6calore

5risposta

Come posso determinare la differenza tra due grandi set di dati?

Ho large datasets con milioni di record in formato XML. Questi set di dati sono discariche complete di dati di un database fino a un certo momento. Tra due dump potrebbero essere state aggiunte nuove

sql xml dataset large-data-volumes 2011-09-06

---

5calore

5risposta

Elaborazione rapida dei log di apache

Attualmente sto eseguendo uno script awk per elaborare un file di accesso-log di grandi dimensioni (8,1 GB), e ci vorrà un'eternità per finire. In 20 minuti, ha scritto 14 MB di MB (1000 + - 500), mi

apache awk large-data-volumes 2010-01-22

---