scrapy

5calore

1risposta

Sto provando a creare un'applicazione utilizzando Flask e Scrapy. Devo passare lo list degli URL allo spider. Ho provato ad utilizzare la seguente sintassi: __init__: in Spider self.start_urls = ["ht

5calore

2risposta

Come ottenere innerHTML di un nodo utilizzando il Selettore scrapy?

Supponiamo che ci siano alcuni frammenti HTML come: <a> text in a <b>text in b</b> <c>text in c</c> </a> <a> <b>text in b</b> text in a <c>text in c</c> </a> in cui

5calore

1risposta

Python & Scrapy: Problema con la versione Scrapy

sto usando Ubuntu 14.04 x64, ho seguito il Scrapy docs per installare il pacchetto utilizzando pip: pip install scrapy Poi ho seguito la inizializzazione del progetto di esempio e cercare di eseguir

5calore

1risposta

ereditarietà multipla in ragni Scrapy

E 'possibile creare un ragno che eredita le funzionalità di due ragni di base, vale a dire SitemapSpider e CrawlSpider? mi hanno cercato di raschiare i dati provenienti da vari siti e si rese conto ch

5calore

1risposta

Scrapy: Ottimizzazione Spider

Sto provando a eliminare un sito Web di e-commerce e lo sto facendo in 2 passaggi. Questo sito ha una struttura come questa: La homepage presenta i link alle-oggetti di famiglia e sottofamiglia-artico

6calore

3risposta

Come funziona Scrapy in pausa/ripresa?

Qualcuno può spiegarmi come funziona la funzione pausa/ripresa in Scrapy? La versione di scrapy che sto usando è 0.24.5 Il documentation non fornisce molti dettagli. Ho il seguente semplice ragno: cla

8calore

1risposta

Come posso iniziare a scrivere il test unitario in web Scrapy usando python?

class AljazeeraSpider(XMLFeedSpider): name = "aljazeera" allowed_domains = ["aljazeera.com"] start_urls = [ 'http://www.aljazeera.com/', ] def parse(self, response):

11calore

2risposta

Come ottenere il numero di richieste in coda in scrapy?

Sto utilizzando scrapy per eseguire la scansione di alcuni siti Web. Come ottenere il numero di richieste in coda? Ho guardato il codice sorgente scrapy e trovare scrapy.core.scheduler.Scheduler potre

5calore

1risposta

Scrapyd non riesce a trovare il codice in una sotto-directory

Abbiamo un progetto del tutto normale Scrapy, qualcosa di simile: project/ setup.py scrapy.cfg SOME_DIR_WITH_PYTHON_MODULE/ __init__.py project/ settings.p

6calore

2risposta

Scrapy: passare argomenti a cmdline.execute()

So come passare argomenti quando si esegue uno spider scrapy dalla riga di comando. Tuttavia, sto avendo problemi durante il tentativo di eseguirlo in modo programmatico da uno script che usa cmdline.