Ottieni pandas.read_csv per leggere i valori vuoti come stringa vuota anziché nan

Question

Sto utilizzando la libreria pandas per leggere in alcuni dati CSV. Nei miei dati, alcune colonne contengono stringhe. La stringa "nan" è un valore possibile, come una stringa vuota. Sono riuscito a far sì che i panda leggessero "nan" come una stringa, ma non riesco a capire come ottenerlo per non leggere un valore vuoto come NaN. Ecco dati campione e uscita

One,Two,Three 
a,1,one 
b,2,two 
,3,three 
d,4,nan 
e,5,five 
nan,6, 
g,7,seven 

>>> pandas.read_csv('test.csv', na_values={'One': [], "Three": []}) 
    One Two Three 
0 a 1 one 
1 b 2 two 
2 NaN 3 three 
3 d 4 nan 
4 e 5 five 
5 nan 6 NaN 
6 g 7 seven 

Si legge correttamente "nan" come stringa "nan', ma legge ancora le celle vuote come NaN. Ho provato passando str nell'argomento converters a read_csv (con converters={'One': str})), ma legge ancora le celle vuote come NaN.

Mi rendo conto che posso riempire i valori dopo aver letto, con fillna, ma non c'è davvero modo di dire ai panda che una cella vuota in una particolare colonna CSV dovrebbe essere letta come stringa vuota invece di NaN?

Answer 1

ho aggiunto un biglietto per aggiungere un'opzione di qualche tipo qui:

https://github.com/pydata/pandas/issues/1450

Nel frattempo, result.fillna('') dovrebbe fare quello che vuoi

EDIT: nella versione di sviluppo (per essere 0.8 .0 finale) se si specifica una lista vuota di na_values, le stringhe vuote rimarranno stringhe vuote nel risultato

Answer 2

Utilizzare il metodo fillna, ma utilizzarlo due volte 'nan' = 'nan', 'NaN' = "". Ciò manterrebbe la virgola allineata. Se il NAN non fosse presente, le colonne non si allineano. Ricorda: nan non è uguale a NaN.

Answer 3

Ero ancora confuso dopo aver letto le altre risposte e commenti. Ma la risposta ora sembra più semplice, quindi ecco qui.

Dal Pandas versione 0.9 (dal 2012), è possibile leggere il tuo csv con celle vuote interpretati come stringhe vuote semplicemente impostando keep_default_na=False:

pd.read_csv('test.csv', keep_default_na=False) 

Questo problema è più chiaramente spiegato nel

• More consistent na_values handling in read_csv · Issue #1657 · pandas-dev/pandas

Questo problema è stato risolto il 19 agosto 2012 per la versione 0.9 di Pandas in

• BUG: more consistent na_values #1657 · pandas-dev/pandas@d9abf68