dataframe

5calore

1risposta

Ottenere specifico campo da Riga scelto Pyspark dataframe

Ho un dataframe Spark costruisce attraverso pyspark da un file JSON come sc = SparkContext() sqlc = SQLContext(sc) users_df = sqlc.read.json('users.json') Ora, voglio accedere ad una chosen_user

8calore

2risposta

Ottieni colonna DataFrame come elenco di valori

Sto cercando di ottenere le colonne di un panda DataFrame come un elenco di valori. posso accedere alla prima colonna utilizzando iloc: df.ix[:,[0]].values tuttavia, che restituisce un array di list

14calore

1risposta

Filtro spark DataFrame sulla stringa contiene

Sto usando Spark 1.3.0 e Spark Avro 1.0.0. Sto lavorando da the example on the repository page. Questo seguente codice funziona bene val df = sqlContext.read.avro("src/test/resources/episodes.avro")

18calore

2risposta

Filtrare un Pyspark dataframe con SQL-like IN clausola

voglio filtrare un Pyspark dataframe con un IN clausola di SQL-like, come in sc = SparkContext() sqlc = SQLContext(sc) df = sqlc.sql('SELECT * from my_df WHERE field1 IN a') dove a è la tupla (1,

12calore

4risposta

R Come stimare la dimensione del file csv prima di scriverlo sul disco

Esiste un modo in R per stimare la dimensione del file csv prima di scriverlo su disco tramite write.csv o readr::write_csv? Vorrei implementare un avviso se l'utente tenta involontariamente di scrive

6calore

3risposta

Verificare se un determinato valore è contenuto in una colonna dataframe nei panda

Sto provando a verificare se un determinato valore è contenuto in una colonna python. Sto usando df.date.isin(['07311954']), che non dubito di essere un buon strumento. Il problema è che ho più di 350

7calore

3risposta

Come aprire e convertire database sqlite in dataframe panda

Ho scaricato alcuni dati come database sqlite (data.db) e voglio aprire questo database in python e convertirlo in dataframe panda. Questo è finora ho fatto import sqlite3 import pandas dat = sqlit

5calore

1risposta

panda: come trovare il valore più frequente di ogni riga?

come trovare il valore più frequente di ogni riga di un dataframe? Ad esempio: In [14]: df Out[14]: a b c 0 2 3 3 1 1 1 2 2 7 7 8 ritorno: [3,1,7]

9calore

4risposta

Come evitare che le righe con indici/chiavi duplicati vengano aggiunte ad un data.frame?

Ho dati in cui la combinazione di due variabili ("ManufactererId" e "ProductId") costituisce chiavi/identificatori univoci. I dati si presenta così: my.data <- data.frame(ManufactererId = c(1, 1, 2, 2

5calore

2risposta

PySpark: il filtraggio di un dataframe dal campo data nell'intervallo dove data è stringa

miei dataframes contiene un campo che è una data e appare nel formato stringa, come esempio '2015-07-02T11:22:21.050Z' devo filtrata del dataframe sulla la data per ottenere solo i record nell'ultim