Come inviare i dati dei post in start_urls del ragno scrapy

Question

Voglio eseguire la scansione di un sito Web che supporta solo i dati dei post. Voglio inviare la query params in dati post in tutte le richieste. Come ottenere questo?

Answer 1

Le richieste POST possono essere eseguite utilizzando le classi di scrapbook Request o FormRequest.

Inoltre, considerare l'utilizzo del metodo start_requests() invece della proprietà start_urls.

Esempio:

from scrapy.http import FormRequest 

class myspiderSpider(Spider): 
    name = "myspider" 
    allowed_domains = ["www.example.com"] 

    def start_requests(self): 
     return [ FormRequest("http://www.example.com/login", 
        formdata={'someparam': 'foo', 'otherparam': 'bar'}, 
        callback=self.parse) ] 

Speranza che aiuta.