pacchetto di errore di pagina web getURL 'RCurl' [R] quando raschiando API

Question

sto cercando di raschiare i dati sulle pagine di un'API utilizzando la funzione getURL del pacchetto RCurl in R. Il mio problema è che non riesco a replicare la risposta che ottengo quando apro l'URL in Chrome quando faccio la richiesta utilizzando R. in sostanza, quando apro la pagina di API (URL sotto) in Chrome funziona bene, ma se mi fa richiesta nel usando getURL in R (o utilizzando modalità in incognito in Chrome) ottengo una risposta '500 Internal Server Error' e non la bella JSON che sto cercando.

URL/API in questione: http://www.bluenile.com/api/public/loose-diamond/diamond-details/panel?country=USA&currency=USD&language=en-us&productSet=BN&sku=LD04077082

Ecco la mia (fallito) di richiesta in [R].

test2 <- fromJSON(getURL("http://www.bluenile.com/api/public/loose-diamond/diamond-details/panel?country=USA&currency=USD&language=en-us&productSet=BN&sku=LD04077082", ssl.verifypeer = FALSE, useragent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.124 Safari/537.36")) 

La mia ricerca in modo Far Prima ho guardato questo prima domanda sulla pila e ha aggiunto nel mio UserAgent alla richiesta (non risolvere il problema, ma può essere ancora necessaria): ViralHeat API issues with getURL() command in RCurl package

Successivo ho guardato questo post utile che guida la mia logica: R Disparity between browser and GET/getURL

mie idee sulla soluzione Questa non è la mia area di competenza, ma la mia ipotesi è che la richiesta è carente di un cookie necessari per completare la richiesta (da qui il motivo per cui non funziona nel browser in modalità in incognito). Ho confrontato le richieste e le risposte dalla richiesta con successo alla richiesta senza successo:

successo richiesta:

richiesta non riuscita:

Qualcuno ha qualche idea? Dovrei provare a utilizzare il pacchetto pacchetto RSelenium che è stato suggerito dal MrFlick nel 2 ° post che ho fatto.

Answer 1

Questo è un sito cortese. Vorrebbe sapere da dove vieni che valuta utilizzi ecc. Per darti un'esperienza utente migliore. Lo fa impostando una moltitudine di cookie sulla pagina di destinazione. Così abbiamo seguirne l'esempio e accedere alla pagina di destinazione prima di ottenere i biscotti poi vai alla pagina che vogliamo:

library(RCurl) 
myURL <- "http://www.bluenile.com/api/public/loose-diamond/diamond-details/panel?country=USA&currency=USD&language=en-us&productSet=BN&sku=LD04077082" 
agent="Mozilla/5.0 (Windows NT 6.3; WOW64; rv:32.0) Gecko/20100101 Firefox/32.0" 

#Set RCurl pars 
curl = getCurlHandle() 
curlSetOpt(cookiejar="cookies.txt", useragent = agent, followlocation = TRUE, curl=curl) 
firstPage <- getURL("http://www.bluenile.com", curl=curl) 
myPage <- getURL(myURL, curl = curl) 

library(RJSONIO) 
> names(fromJSON(myPage)) 
[1] "diamondDetailsHeader" "diamondDetailsBodies" "pageMetadata"   "expandedUrl"   
[5] "newVersion"   "multiDiamond" 

ei biscotti:

> getCurlInfo(curl)$cookielist 
[1] ".bluenile.com\tTRUE\t/\tFALSE\t2412270275\tGUID\tDA5C11F5_E468_46B5_B4E8_D551D4D6EA4D"                  
[2] ".bluenile.com\tTRUE\t/\tFALSE\t1475342275\tsplit\tver~3&presetFilters~TEST"                    
[3] ".bluenile.com\tTRUE\t/\tFALSE\t1727630275\tsitetrack\tver~2&jse~0"                       
[4] ".bluenile.com\tTRUE\t/\tFALSE\t1425230275\tpop\tver~2&china~false&french~false&ie~false&internationalSelect~false&iphoneApp~false&survey~false&uae~false" 
[5] ".bluenile.com\tTRUE\t/\tFALSE\t1475342275\tdsearch\tver~6&newUser~true"                     
[6] ".bluenile.com\tTRUE\t/\tFALSE\t1443806275\tlocale\tver~1&country~IRL&currency~EUR&language~en-gb&productSet~BNUK"           
[7] ".bluenile.com\tTRUE\t/\tFALSE\t0\tbnses\tver~1&ace~false&isbml~false&fbcs~false&ss~0&mbpop~false&sswpu~false&deo~false"         
[8] ".bluenile.com\tTRUE\t/\tFALSE\t1727630275\tbnper\tver~5&NIB~0&DM~-&GUID~DA5C11F5_E468_46B5_B4E8_D551D4D6EA4D&SESS-CT~1&STC~32RPVK&FB_MINI~false&SUB~false" 
[9] "#HttpOnly_www.bluenile.com\tFALSE\t/\tFALSE\t0\tJSESSIONID\tB8475C3AEC08205E5AC6252C94E4B858"                
[10] ".bluenile.com\tTRUE\t/\tFALSE\t1727630278\tmigrationstatus\tver~1&redirected~false"