Liquid State Machine: come funziona e come usarlo?

Question

Ora sto imparando a conoscere LSM (Liquid State Machines) e cerco di capire come vengono utilizzati per l'apprendimento.

Sono abbastanza confuso da quello che leggo sul web.

Scriverò quello che ho capito -> Può essere corretta e sarò felice se mi è possibile correggere e spiegare ciò che è vero:

1. LSM non sono addestrati a tutti: Sono appena inizializzato con molti "neuroni temporali" (es. Leaky Integrate & Neuroni Fuoco), mentre le loro soglie sono selezionate casualmente, e quindi le connessioni tra loro (cioè non ogni neurone deve avere un margine comune con ciascuno degli altri neuroni).

2. Se si vuole "imparare" che x unità di tempo dopo aver inserito ho, il verificarsi Y si verifica, è necessario "aspettare" x unità di tempo con la LIF "rivelatori" e vedere quali neuroni hanno sparato in questo specifico momento. Quindi, puoi addestrare un classificatore (ad esempio FeedForward Network), che questo specifico sottoinsieme di neuroni attivanti significa che l'occorrenza Y è avvenuta.

3. È possibile utilizzare numerosi "neuroni temporali" nel vostro "liquida", in modo da avere molte possibili sottoinsiemi differenti di neuroni sparano, quindi un sottoinsieme specifico di neuroni di cottura diventa quasi unica per il momento dopo aver aspettato x unità di tempo, dopo aver inserito il vostro input ho

non so se quello che ho scritto sopra è vero, o se è un bidone della spazzatura totale.

prego di dirmi se questo è l'uso corretto e gli obiettivi di LIF.

Answer 1

Dalle tue domande, sembra che tu sia sulla buona strada. In ogni caso, la Liquid State Machine e la macchina Echo State sono argomenti complessi che riguardano la neuroscienza e la fisica computazionale, argomenti come il caos, il sistema dinamico di azione, il sistema di feedback e l'apprendimento automatico. Quindi va bene se ti sembra che sia difficile girarci intorno.

per rispondere alle vostre domande:

1. maggior parte delle implementazioni di Liquid Machines Stato con il serbatoio di neuroni non addestrati. Ci sono alcuni tentativi di addestrare il serbatoio ma non hanno avuto un successo drammatico che valga la pena di potenza computazionale necessaria per questo scopo. (Cfr Reservoir calcolo si avvicina alla ricorrente addestramento di reti neurali http://www.sciencedirect.com/science/article/pii/S1574013709000173) o (Il Delta p-regola di apprendimento per Percettroni Parallel http://www.igi.tugraz.at/psfiles/pdelta-journal.pdf)
   
   La mia opinione è che se si desidera utilizzare il liquido come classificatore in termini di separabilità o generalizzazione del modello , puoi guadagnare molto di più dal modo in cui i neuroni si connettono tra loro (vedi Hazan, H. e Manevitz, L., Vincoli topologici e robustezza nelle macchine a stato liquido, Sistemi esperti con applicazioni, Volume 39, Numero 2, Pagine 1597- 1606, http://dx.doi.org/10.1016/j.eswa.2011.06.052, febbraio 2012.) o (quale modello da utilizzare per la Liquid State Machine? http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5178822) l'approccio biologico (a mio parere il più interessante) (Cosa può fare un Neuron Impara con Plasticità Spike-Timing-dipendente? www .mitpressjournals.org/doi/abs/10.1162/0899766054796888)
2. Hai ragione, devi aspettare almeno fino a quando non hai finito di dare l'input. Altrimenti rischi di rilevare il tuo input e non l'attività che si verifica come risultato del tuo input come dovrebbe essere.
3. Sì, si può immaginare che la complessità del liquido sia un kernel in SVM che tenta di proiettare i punti dati su un iperspazio e il rilevatore nel liquido come la parte che tenta di separare le classi nel set di dati. Come regola del pollice, il numero di neuroni e il modo in cui si connettono tra loro determinano il grado di complessità del liquido.
   

Chi LIF (Leaky Integrate & neuroni del fuoco), come la vedo io (potrei sbagliarmi) la grande differenza tra i due approcci è la singola unità. Nella macchina a stato liquido si usano biologicamente come i neuroni, e nello stato Eco si usano più unità analogiche. Quindi, in termini di "memoria a brevissimo termine", lo stato liquido apprende che ogni singolo neurone ricorda la propria storia, dove nello stato di eco ogni singolo neurone reagisce solo nello stato corrente, lì per la memoria immagazzinata nell'attività tra le unità .

Answer 2

Per comprendere gli LSM è necessario comprendere il confronto con Liquid. Riguarda l'immagine seguente:

• Stai gettando a caso le pietre nell'acqua. A seconda del tipo di pietre che hai gettato nell'acqua, c'è un altro modello dopo x timesteps.
• Riguardo a questo modello d'onda si può avere conclusioni circa le caratteristiche delle diverse pietre
• Su questo modello si può dire che tipo di pietre che avete messo dentro.

I modelli LSM questo comportamento che abbiamo :

• Uno strato di input che è collegato in modo casuale al serbatoio dei neuroni. Prendilo come le pietre che gettavi nell'acqua

• Un serbatoio di neuroni collegati casualmente. Quelli rappresentano la tua Acqua che interagisce con le tue pietre in un modo specifico.

  • In termini di LSM abbiamo Neuroni speciali (cercano di modellare neuroni reali). Aggiungono attivazioni oltre i timestep e si attivano solo se viene raggiunta una certa quantità di attivazione, in aggiunta viene applicato un fattore di cooldown che rappresenta le pompe del kalium del natrium nel cervello.
  • Dopo x timesteps avrete un modello di neuroni spiking in quel momento.

• Un livello di output che interpreta tale modello e lo utilizza per la classificazione.

Answer 3

Voglio solo aggiungere 2 punti aggiuntivi per altri lettori. Innanzitutto, le pompe "natrium-kalium" sono pompe al sodio-potassio in inglese. La seconda è la relazione tra le macchine a stato liquido (LSM) e le macchine a stati finiti (FSM) (dato che alcuni lettori potrebbero già avere una comprensione delle macchine a stati finiti).

La relazione tra LSM e FSM è per lo più una semplice analogia. Tuttavia, le unità (neuroni) di un LSM possono essere modellate individualmente come FSM in relazione al fatto che attivino o meno i potenziali d'azione (cambia stato).Una difficoltà con questo è che i tempi dei cambiamenti di stato di ogni unità e dei suoi vicini non sono fissi. Quindi, quando consideriamo gli stati di tutte le unità e come cambiano nel tempo, otteniamo una tabella di transizione infinita, che mette l'LSM nella classe di un sistema di transizione, non in un FSM (forse questo è un po 'ovvio). Tuttavia, aggiungiamo il discriminatore lineare ... Questo è un semplice layer di lettura deterministico che è addestrato a selezionare i pattern nell'LSM corrispondenti ai calcoli desiderati. Il sistema di lettura monitora un sottoinsieme di unità e di solito ha regole temporali ben definite. In altre parole, ignora molte transizioni di stato ed è sensibile a pochi. Questo lo rende un po 'come un FSM.

Si può leggere che combinazioni di unità nella LSM possono formare FSM in modo che la lettura identifichi FSM "virtualmente contenuto al suo interno". Questo deriva da uno scrittore che sta pensando innanzitutto all'LSM come modello di computer (quando in linea di principio si potrebbero chiarire le unità e le connessioni che comprendono un "FSM virtuale" e costruire un FSM analogo). Tale affermazione può confondere chiunque pensi al LSM come un sistema biologico, dove è meglio pensare alla lettura come un elemento che seleziona e combina le caratteristiche dell'LSM in un modo che ignora la variabilità ad alta dimensione e produce un affidabile FSM a bassa dimensione come risultato.