Differenza in Python statsmodels OLS e LM di R

Question

io non sono sicuro perché sto ottenendo risultati leggermente diversi per un semplice OLS, a seconda se vado attraverso panda's experimental rpy interface a fare la regressione in R o se io uso statsmodels in Python.

import pandas 
from rpy2.robjects import r 

from functools import partial 

loadcsv = partial(pandas.DataFrame.from_csv, 
        index_col="seqn", parse_dates=False) 

demoq = loadcsv("csv/DEMO.csv") 
rxq = loadcsv("csv/quest/RXQ_RX.csv") 

num_rx = {} 
for seqn, num in rxq.rxd295.iteritems(): 
    try: 
     val = int(num) 
    except ValueError: 
     val = 0 
    num_rx[seqn] = val 

series = pandas.Series(num_rx, name="num_rx") 
demoq = demoq.join(series) 

import pandas.rpy.common as com 
df = com.convert_to_r_dataframe(demoq) 
r.assign("demoq", df) 
r('lmout <- lm(demoq$num_rx ~ demoq$ridageyr)') # run the regression 
r('print(summary(lmout))') # print from R 

Da R, ricevo il seguente sommario:

Call: 
lm(formula = demoq$num_rx ~ demoq$ridageyr) 

Residuals: 
    Min  1Q Median  3Q  Max 
-2.9086 -0.6908 -0.2940 0.1358 15.7003 

Coefficients: 
       Estimate Std. Error t value Pr(>|t|)  
(Intercept) -0.1358216 0.0241399 -5.626 1.89e-08 *** 
demoq$ridageyr 0.0358161 0.0006232 57.469 < 2e-16 *** 
--- 
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 1.545 on 9963 degrees of freedom 
Multiple R-squared: 0.249, Adjusted R-squared: 0.2489 
F-statistic: 3303 on 1 and 9963 DF, p-value: < 2.2e-16 

Utilizzando statsmodels.api a fare le OLS:

import statsmodels.api as sm 
results = sm.OLS(demoq.num_rx, demoq.ridageyr).fit() 
results.summary() 

I risultati sono simili a quelli di uscita di R, ma non è la stessa:

OLS Regression Results 
Adj. R-squared: 0.247 
Log-Likelihood: -18488. 
No. Observations: 9965 AIC: 3.698e+04 
Df Residuals: 9964 BIC: 3.698e+04 
      coef std err t  P>|t| [95.0% Conf. Int.] 
ridageyr  0.0331 0.000 82.787 0.000  0.032 0.034 

Il processo di installazione è un po 'macchinoso. Tuttavia, esiste un notebook IPYTONE here, in grado di riprodurre l'incoerenza.

Answer 1

Sembra che Python non aggiunge un'intercettazione di default per la vostra espressione, mentre R fa quando si utilizza l'interfaccia formula ..

Questo significa che si adattava due modelli differenti. Prova

lm(y ~ x - 1, data) 

in R per escludere l'intercetta, o nel tuo caso e con la notazione un po 'più standard

lm(num_rx ~ ridageyr - 1, data=demoq) 

Answer 2

Nota che si può ancora utilizzare ols da statsmodels.formula.api:

from statsmodels.formula.api import ols 

results = ols('num_rx ~ ridageyr', demoq).fit() 
results.summary() 

I pensa che usi patsy nel backend per tradurre l'espressione della formula e che l'intercetta venga aggiunta automaticamente.