Cercando di leggere il codice di Scrapy. Le parole Scaper, crawler e spider sono confuse. Per esempioDifferenza tra raschietto, crawler e spider nel contesto di Scrapy
scrapy.core.scraper
scrapy.crawler
scrapy.spiders
Qualcuno potrebbe spiegare i significati e le differenze di questi termini nel contesto di Scrapy? Grazie in anticipo.
Il crawler (scrapy.crawler) è il principale punto di accesso a Scrapy API. Fornisce l'accesso a tutti i componenti principali di Scrapy ed è utilizzato per collegare le funzionalità delle estensioni in Scrapy.
Scraper (scrapy.core.scraper) componente è responsabile per l'analisi delle risposte e l'estrazione di informazioni da loro. Viene eseguito dal motore ed è utilizzato per far girare i tuoi spider.
scrapy.spiders è un modulo che contiene di base Spider implementazione (che si utilizza per scrivere i ragni), insieme ad alcuni ragni comuni disponibile out of the box (come il CrawlSpider per la scansione insieme di regole-base, il SitemapSpider per la scansione del sito in base o XMLFeedSpider per la scansione dei feed XML).
Maggiori informazioni disponibili sulle pagine ufficiali di documentazione:
http://doc.scrapy.org/en/latest/topics/spiders.html?highlight=crawlspider#spiders http://doc.scrapy.org/en/latest/topics/api.html?highlight=scrapy.crawler#module-scrapy.crawler
“risposte di analisi e informazioni estrazione”: è quel ragno? –
Sì, il componente ruspa spianatrice è responsabile dell'esecuzione di spider. – bosnjak