Imposta intestazioni per richiesta di shell scrapy

Question

So che è possibile modificare lo scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'USER_AGENT, ma come si aggiungono le intestazioni delle richieste?

Answer 1

non c'è modo corrente per aggiungere intestazioni direttamente sul cli, ma si poteva fare qualcosa di simile:

$ scrapy shell 
... 
... 
>>> from scrapy import Request 
>>> req = Request('yoururl.com', headers={"header1":"value1"}) 
>>> fetch(req) 

Questo aggiornerà le informazioni shell corrente con quella nuova richiesta.