Come utilizzare scikit-learn PCA per la riduzione delle funzionalità e sapere quali funzionalità vengono scartate

Question

Sto provando a eseguire un PCA su una matrice di dimensioni m x n dove m è il numero di funzioni e il numero di campioni.

Supponiamo di voler conservare le funzioni nf con la varianza massima. Con scikit-learn sono in grado di farlo in questo modo:

from sklearn.decomposition import PCA 

nf = 100 
pca = PCA(n_components=nf) 
# X is the matrix transposed (n samples on the rows, m features on the columns) 
pca.fit(X) 

X_new = pca.transform(X) 

Ora, ottengo una nuova matrice X_new che ha una forma di n x nf. È possibile sapere quali caratteristiche sono state scartate o quelle mantenute?

Grazie

Answer 1

Le funzioni che l'oggetto PCA ha determinato durante il montaggio sono in pca.components_. Lo spazio vettoriale ortogonale a quello con spanning di pca.components_ viene scartato.

Si prega di notare che PCA non "scartare" o "conservare" nessuna delle funzioni predefinite (codificate dalle colonne specificate). Li mescola tutti (in somme ponderate) per trovare le direzioni ortogonali della massima varianza.

Se questo non è il comportamento che stai cercando, la riduzione della dimensionalità PCA non è la strada da percorrere. Per alcuni semplici metodi di selezione delle caratteristiche generali, è possibile dare un'occhiata a sklearn.feature_selection

Answer 2

Le caratteristiche proiettate su componenti principali mantengono le informazioni importanti (assi con variazioni massime) e goccia assi con piccole variazioni. Questo comportamento equivale a compression (Non scarto).

E X_proj è il nome migliore di X_new, perché è la proiezione di X sul principal components

È possibile ricostruire la X_rec come

X_rec = pca.inverse_transform(X_proj) # X_proj is originally X_new 

Qui, X_rec è vicino al X, ma il less important le informazioni sono state eliminate da PCA. Quindi possiamo dire che X_rec è stato disattivato.

A mio parere, posso dire che the noise è scartato.

Answer 3

La risposta indicata sopra non è corretta. Il sito sklearn afferma chiaramente che l'array components_ è ordinato. quindi non può essere usato per identificare le caratteristiche importanti.

components_: array, [n_components, n_features] Principali assi nello spazio caratteristica, che rappresentano le direzioni di massima varianza dei dati. I componenti sono ordinati da explain_variance_.

http://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html