Come applicare correttamente una funzione lambda in una colonna di frame di dati panda

Question

Ho un frame di dati panda, sample, con una delle colonne chiamato PR a cui sto applicando una funzione lambda come segue:

sample['PR'] = sample['PR'].apply(lambda x: NaN if x < 90) 

I quindi ottenere il seguente messaggio di errore di sintassi:

sample['PR'] = sample['PR'].apply(lambda x: NaN if x < 90) 
                 ^
SyntaxError: invalid syntax 

Cosa sto facendo male?

Answer 1

È necessario mask:

sample['PR'] = sample['PR'].mask(sample['PR'] < 90, np.nan) 

Un'altra soluzione con loc e boolean indexing:

sample.loc[sample['PR'] < 90, 'PR'] = np.nan 

Esempio:

import pandas as pd 
import numpy as np 

sample = pd.DataFrame({'PR':[10,100,40] }) 
print (sample) 
    PR 
0 10 
1 100 
2 40 

sample['PR'] = sample['PR'].mask(sample['PR'] < 90, np.nan) 
print (sample) 
     PR 
0 NaN 
1 100.0 
2 NaN 

sample.loc[sample['PR'] < 90, 'PR'] = np.nan 
print (sample) 
     PR 
0 NaN 
1 100.0 
2 NaN 

EDIT:

Soluzione con apply:

sample['PR'] = sample['PR'].apply(lambda x: np.nan if x < 90 else x) 

Tempilen(df)=300k:

sample = pd.concat([sample]*100000).reset_index(drop=True) 

In [853]: %timeit sample['PR'].apply(lambda x: np.nan if x < 90 else x) 
10 loops, best of 3: 102 ms per loop 

In [854]: %timeit sample['PR'].mask(sample['PR'] < 90, np.nan) 
The slowest run took 4.28 times longer than the fastest. This could mean that an intermediate result is being cached. 
100 loops, best of 3: 3.71 ms per loop