In che modo pymc rappresenta la funzione di distribuzione e probabilità precedente?

Question

Se pymc implementa l'algoritmo di Metropolis-Hastings per ottenere campioni dalla densità posteriore rispetto ai parametri di interesse, quindi per decidere se passare allo stato successivo nella catena markov deve essere in grado di valutare qualcosa di proporzionale a la densità posteriore per tutti i valori dei parametri dati.

La densità posteriore è proporzionale alla funzione di probabilità basata sui dati osservati moltiplicati per la densità precedente.

Come sono rappresentati ciascuno di questi all'interno di pymc? Come calcola ciascuna di queste quantità dall'oggetto del modello?

Mi chiedo se qualcuno può darmi una descrizione di alto livello dell'approccio o indicarmi dove posso trovarlo.

Answer 1

per rappresentare la prima, è necessario un istanza della classe stocastico, che ha due attributi primari:

value : the variable's current value 
logp : the log probability of the variable's current value given the values of its parents 

è possibile inizializzare una prima con il nome della distribuzione che si sta utilizzando.

Per rappresentare la probabilità, è necessario un cosiddetto Data stocastico. Ovvero, un'istanza di classe Stochastic il cui flag observed è impostato su True. Il valore di questa variabile non può essere modificato e non verrà campionato. Anche in questo caso, è possibile inizializzare la probabilità con il nome della distribuzione in uso (ma non dimenticare di impostare il flag observed su True).

Supponiamo di avere la seguente configurazione:

import pymc as pm 
import numpy as np 
import theano.tensor as t 

x = np.array([1,2,3,4,5,6]) 
y = np.array([0,1,0,1,1,1]) 

Possiamo eseguire una semplice regressione logistica con il seguente:

with pm.Model() as model: 
    #Priors 
    b0 = pm.Normal("b0", mu=0, tau=1e-6) 
    b1 = pm.Normal("b1", mu=0, tau=1e-6) 
    #Likelihood 
    z = b0 + b1 * x 
    yhat = pm.Bernoulli("yhat", 1/(1 + t.exp(-z)), observed=y) 
    # Sample from the posterior 
    trace = pm.sample(10000, pm.Metropolis()) 

La maggior parte di quanto sopra è venuto da ipython notebook di Chris Fonnesbeck here.