2011-10-18 14 views
10

Sto cercando di fare qualcosa di molto simile a quello previous question ma ho riscontrato un errore. Ho un dataframe panda contenente caratteristiche e etichetta devo fare qualche conversione per inviare le caratteristiche e la variabile di etichetta in un oggetto di apprendimento automatico:Converti array di stringa (categoria) in array di int da un dataframe panda

import pandas 
import milk 
from scikits.statsmodels.tools import categorical 

poi ho:

trainedData=bigdata[bigdata['meta']<15] 
untrained=bigdata[bigdata['meta']>=15] 
#print trainedData 
#extract two columns from trainedData 
#convert to numpy array 
features=trainedData.ix[:,['ratio','area']].as_matrix(['ratio','area']) 
un_features=untrained.ix[:,['ratio','area']].as_matrix(['ratio','area']) 
print 'features' 
print features[:5] 
##label is a string:single, touching,nuclei,dust 
print 'labels' 

labels=trainedData.ix[:,['type']].as_matrix(['type']) 
print labels[:5] 
#convert single to 0, touching to 1, nuclei to 2, dusts to 3 
# 
tmp=categorical(labels,drop=True) 
targets=categorical(labels,drop=True).argmax(1) 
print targets 

L'uscita console produce prima:

features 
[[ 0.38846334 0.97681855] 
[ 3.8318634 0.5724734 ] 
[ 0.67710876 1.01816444] 
[ 1.12024943 0.91508699] 
[ 7.51749674 1.00156707]] 
labels 
[[single] 
[touching] 
[single] 
[single] 
[nuclei]] 

incontro quindi il seguente errore:

Traceback (most recent call last): 
File "/home/claire/Applications/ProjetPython/projet particule et objet/karyotyper/DAPI-Trainer02-MILK.py", line 83, in <module> 
tmp=categorical(labels,drop=True) 
File "/usr/local/lib/python2.6/dist-packages/scikits.statsmodels-0.3.0rc1-py2.6.egg/scikits/statsmodels/tools/tools.py", line 206, in categorical 
tmp_dummy = (tmp_arr[:,None]==data).astype(float) 
AttributeError: 'bool' object has no attribute 'astype' 

È possibile convertire la variabile di categoria 'tipo' all'interno del dataframe in int? 'type' può assumere i valori 'single', 'touching', 'nuclei', 'dust' e ho bisogno di convertire con valori int tali 0, 1, 2, 3.

risposta

10

Se si dispone di un vettore di stringhe o di altri oggetti e si vuole dare etichette categoriali, è possibile utilizzare la classe Factor (disponibile in pandas namespace):

In [1]: s = Series(['single', 'touching', 'nuclei', 'dusts', 'touching', 'single', 'nuclei']) 

In [2]: s 
Out[2]: 
0 single 
1 touching 
2 nuclei 
3 dusts 
4 touching 
5 single 
6 nuclei 
Name: None, Length: 7 

In [4]: Factor(s) 
Out[4]: 
Factor: 
array([single, touching, nuclei, dusts, touching, single, nuclei], dtype=object) 
Levels (4): [dusts nuclei single touching] 

il fattore ha attributi labels e levels:

In [7]: f = Factor(s) 

In [8]: f.labels 
Out[8]: array([2, 3, 1, 0, 3, 2, 1], dtype=int32) 

In [9]: f.levels 
Out[9]: Index([dusts, nuclei, single, touching], dtype=object) 

questo è inteso per vettori 1D s o non so se può essere applicato immediatamente al tuo problema, ma dai un'occhiata.

BTW Si consiglia di porre queste domande sui modelli stats e/o sulla mailing list di scikit-learn poiché la maggior parte di noi non sono utenti SO frequenti.

+4

Penso che la classe Factor è stato cambiato da questo post è stato fatto. Quando tento di eseguire il codice che hai postato, viene visualizzato un errore che indica che Factor prevede 3 argomenti e 2 sono stati assegnati. Guardando la documentazione di Factor, questo è ciò che il costruttore si aspetta: {{{Factor (self, labels, levels, name = None)}}}. Dal tuo post, ho pensato che le etichette e i livelli fossero calcolati automaticamente dalla serie, ma sembra che Factor si aspetti che vengano passati a Factor. – CadentOrange

+10

Il fattore è stato rinominato Categorical in pandas 0.8.0 (6/2012) – smci

6

Sto rispondendo alla domanda per Pandas 0.10.1. Factor.from_array sembra fare il trucco.

>>> s = pandas.Series(['a', 'b', 'a', 'c', 'a', 'b', 'a']) 
>>> s 
0 a 
1 b 
2 a 
3 c 
4 a 
5 b 
6 a 
>>> f = pandas.Factor.from_array(s) 
>>> f 
Categorical: 
array([a, b, a, c, a, b, a], dtype=object) 
Levels (3): Index([a, b, c], dtype=object) 
>>> f.labels 
array([0, 1, 0, 2, 0, 1, 0]) 
>>> f.levels 
Index([a, b, c], dtype=object) 
16

Le risposte precedenti sono obsoleti, ecco una soluzione per le stringhe di mappatura a numeri che funziona con la versione 0.18.1 di panda.

per una serie:

In [1]: import pandas as pd 
In [2]: s = pd.Series(['single', 'touching', 'nuclei', 'dusts', 
         'touching', 'single', 'nuclei']) 
In [3]: s_enc = pd.factorize(s) 
In [4]: s_enc[0] 
Out[4]: array([0, 1, 2, 3, 1, 0, 2]) 
In [5]: s_enc[1] 
Out[5]: Index([u'single', u'touching', u'nuclei', u'dusts'], dtype='object') 

Per un dataframe:

In [1]: import pandas as pd 
In [2]: df = pd.DataFrame({'labels': ['single', 'touching', 'nuclei', 
         'dusts', 'touching', 'single', 'nuclei']}) 
In [3]: catenc = pd.factorize(df['labels']) 
In [4]: catenc 
Out[4]: (array([0, 1, 2, 3, 1, 0, 2]), 
     Index([u'single', u'touching', u'nuclei', u'dusts'], 
     dtype='object')) 
In [5]: df['labels_enc'] = catenc[0] 
In [6]: df 
Out[4]: 
     labels labels_enc 
    0 single   0 
    1 touching   1 
    2 nuclei   2 
    3  dusts   3 
    4 touching   1 
    5 single   0 
    6 nuclei   2