data-processing

38calore

5risposta

Modi per leggere solo selezionare colonne da un file in R? (Un mezzo felice tra `read.table` e` scan`?)

Ho alcuni file di dati delimitati molto grandi e Voglio elaborare solo determinate colonne in R senza prendere tempo e memoria per creare un data.frame per il intero file. Le uniche opzioni che conosc

8calore

3risposta

Tracciare più linee come heatmap

Ho un numero elevato (~ 1000) di file da un registratore di dati che sto tentando di elaborare. Se volessi tracciare la tendenza da uno solo di questi file di log che potrei farlo utilizzando plot(tim

5calore

5risposta

Elaborazione di una grande quantità di dati in parallelo

Sono uno sviluppatore Python con esperienza RDBMS piuttosto buona. Ho bisogno di elaborare una grande quantità di dati (circa 500 GB). I dati sono contenuti in circa 1200 file csv in bucket s3. Ho scr

6calore

5risposta

Creare nuove variabili binarie da una singola stringa di livelli registrati per ciascuna osservazione

Mi sono divertito con lo Kaggle West-Nile Virus competition data come metodo per esercitarsi nell'adattamento di una GAM spazio-temporale. Le prime poche righe (un po 'elaborate dal CSV originale) dei

26calore

3risposta

Gestione di dati mancanti/incompleti in R: c'è una funzione per mascherare ma non rimuovere NA?

Come ci si aspetterebbe da un DSL finalizzato alla analisi dei dati, R gestisce i dati mancanti/incompleti molto bene, per esempio: Molte funzioni di ricerca hanno un na.rm flag che se impostato su TR

5calore

1risposta

Lettura in righe specifiche abbinate a modelli da un file

Ho un file che è delimitato da tabulazioni e contiene più tabelle ciascuna intestata da un titolo, ad esempio "Azuay \ n", "Bolivar \ n", "Cotopaxi \ n ", ecc. e ogni tabella separata da due newline.

80calore

3risposta

Elaborazione di dati su larga scala Hbase vs Cassandra

Sono quasi atterrato a Cassandra dopo le mie ricerche su soluzioni di archiviazione di dati su larga scala. Ma in generale ha affermato che Hbase è la soluzione migliore per l'elaborazione e l'analisi

7calore

4risposta

utilizzando Hibernate per caricare prodotti 20K, modificando l'entità e aggiornando in db

Sto utilizzando la modalità di sospensione per aggiornare i prodotti 20K nel mio database. A partire da ora inserisco i prodotti 20K, passandoci sopra e modificando alcune proprietà e aggiornando il d

8calore

3risposta

come usare il filtro panda con IQR?

Esiste un modo integrato per eseguire il filtraggio su una colonna mediante IQR (vale a dire valori compresi tra Q1-1.5IQR e Q3 + 1.5IQR)? inoltre, qualsiasi altro possibile filtraggio generalizzato i