scrapy-spider

5calore

1risposta

Sto provando a creare un'applicazione utilizzando Flask e Scrapy. Devo passare lo list degli URL allo spider. Ho provato ad utilizzare la seguente sintassi: __init__: in Spider self.start_urls = ["ht

12calore

2risposta

Scrapy: Estrai link e testo

Sono nuovo di scrapy e sto cercando di raschiare la pagina web del sito Ikea. La pagina di base con l'elenco delle posizioni dato here. mio items.py del file è il seguente: import scrapy class Ikea

8calore

1risposta

Come inviare i dati dei post in start_urls del ragno scrapy

Voglio eseguire la scansione di un sito Web che supporta solo i dati dei post. Voglio inviare la query params in dati post in tutte le richieste. Come ottenere questo?

5calore

1risposta

ereditarietà multipla in ragni Scrapy

E 'possibile creare un ragno che eredita le funzionalità di due ragni di base, vale a dire SitemapSpider e CrawlSpider? mi hanno cercato di raschiare i dati provenienti da vari siti e si rese conto ch

5calore

1risposta

Scrapy: Ottimizzazione Spider

Sto provando a eliminare un sito Web di e-commerce e lo sto facendo in 2 passaggi. Questo sito ha una struttura come questa: La homepage presenta i link alle-oggetti di famiglia e sottofamiglia-artico

9calore

4risposta

Scrapy, segui solo URL interni ma estrai tutti i link trovati

Voglio ottenere tutti i link esterni da un determinato sito web usando Scrapy. Utilizzando il seguente codice il ragno striscia link esterni così: from scrapy.contrib.spiders import CrawlSpider, Rule

8calore

1risposta

Come posso iniziare a scrivere il test unitario in web Scrapy usando python?

class AljazeeraSpider(XMLFeedSpider): name = "aljazeera" allowed_domains = ["aljazeera.com"] start_urls = [ 'http://www.aljazeera.com/', ] def parse(self, response):

5calore

1risposta

Passa valori aggiuntivi insieme a urls to scrapy spider

Ho una lista di tuple nel modulo (id, url) Ho bisogno di sottoporre a scansione un prodotto da un elenco di URL e quando questi prodotti vengono sottoposti a scansione ho bisogno di archiviare li nel

9calore

1risposta

Scrapy: oggetto 'str' non ha alcun attributo 'iter'

ho aggiunto restrict_xpaths regole alla mia Scrapy ragno e ora non riesce immediatamente con: 2015-03-16 15:46:53+0000 [tsr] ERROR: Spider error processing <GET http://www.thestudentroom.co.uk/forumdi

5calore

3risposta

Come raccogliere le statistiche all'interno della callback di ragno graffiante?

Come posso raccogliere le statistiche da un callback spider? Esempio class MySpider(Spider): name = "myspider" start_urls = ["http://example.com"] def parse(self, response): stats.set