Come inviare JavaScript e cookie abilitati in Scrapy?

Question

Sto raschiando un sito Web utilizzando Scrapy che richiede la cottura e il java-script per essere abilitato. Non penso che dovrò effettivamente elaborare javascript. Tutto ciò di cui ho bisogno è fingere che javascript sia abilitato.

Ecco che cosa ho provato: 1) attivare i cookie attraverso il seguente nelle impostazioni

COOKIES_ENABLED = True 
COOKIES_DEBUG = True 

2) usando Scaricare middleware per i cookie

DOWNLOADER_MIDDLEWARES = { 
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': 400, 
    'scrapy.contrib.downloadermiddleware.cookies.CookiesMiddleware':700 
} 

3) Invio di 'X-abilitato per JavaScript ':' True '

DEFAULT_REQUEST_HEADERS={ 
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 
    'Accept-Language': 'en', 
    'X-JAVASCRIPT-ENABLED': 'True' 
} 

ma nessuno di loro sta lavorando con me. Potete suggerire qualche idea o darmi qualche indicazione?

Grazie in anticipo per le risposte.

Answer 1

Scrapy non supporta lo script java.

ma

è possibile utilizzare alcuni altra libreria con Scrapy per l'esecuzione di JS, come Webkit, selenio, ecc,

e non si ha bisogno di abilitare i cookie (COOKIES_ENABLED = True), nemmeno necessario aggiungere DOWNLOADER_MIDDLEWARES nella vostra settings.py perché sono già disponibili in default scrapy settings

Answer 2

per quanto ne so, non esiste una soluzione universale. Devi eseguire il debug del sito, per vedere come determina che Javascript non è supportato/abilitato dal tuo client.

Non penso che il server guardi l'intestazione X-JAVASCRIPT-ENABLED. Forse c'è un cookie impostato da Javascript quando la pagina viene caricata in un vero browser abilitato per javascript? Forse il server guarda l'intestazione user-agent?

Vedere anche this response.

Answer 3

Dovresti provare il motore Splash JS con scrapyjs. Ecco un esempio di come configurarlo nel progetto ragno:

SPLASH_URL = 'http://192.168.59.103:8050' 
DOWNLOADER_MIDDLEWARES = { 
    'scrapyjs.SplashMiddleware': 725, 
} 

Scraping hub che è la stessa azienda dietro Scrapy, ha special instances per eseguire i ragni con spruzzata abilitato.

poi cedere SplashRequest invece di Request nel vostro ragno in questo modo:

import scrapy 
from scrapy_splash import SplashRequest 

class MySpider(scrapy.Spider): 
    start_urls = ["http://example.com", "http://example.com/foo"] 

    def start_requests(self): 
     for url in self.start_urls: 
      yield SplashRequest(url, self.parse, 
       endpoint='render.html', 
       args={'wait': 0.5}, 
      ) 

    def parse(self, response): 
     # response.body is a result of render.html call; it 
     # contains HTML processed by a browser. 
     # …