scrapy-spider

6calore

2risposta

ImportError: nessun modulo chiamato win32api durante l'utilizzo di Scrapy

Sono un nuovo apprendente di Scrapy. Ho installato python 2.7 e tutti gli altri motori necessari. Quindi ho provato a creare un progetto Scrapy seguendo il tutorial http://doc.scrapy.org/en/latest/int

13calore

2risposta

Scrapy: AttributeError: l'oggetto 'list' non ha attributo 'iteritems'

Questa è la mia prima domanda sullo stack overflow. Recentemente voglio usare linked-in-scraper, così ho scaricato e istruire "scrapy crawl linkedin.com" e ottenere il seguente messaggio di errore. Pe

5calore

1risposta

Scrapy - Come avviare più istanze dello stesso processo spider?

Sono bloccato durante l'avvio di più istanze dello stesso spider. Voglio eseguirlo come 1 url per 1 istanza Spider. Devo elaborare 50k URL e per questo ho bisogno di avviare istanze separate per ciasc

10calore

1risposta

Come prevenire un errore di twisted.internet.error.ConnectionLost quando si utilizza Scrapy?

che sto raschiando alcune pagine con scrapy e ottenere il seguente errore: twisted.internet.error.ConnectionLost La mia uscita da riga di comando: 2015-05-04 18:40:32+0800 [cnproxy] INFO: Spider opene

5calore

2risposta

Scrapy: archivia tutti i collegamenti esterni e scansiona tutti i collegamenti interni

Ho lavorato a un raschiatore raschiato che striscia attraverso tutti i collegamenti interni da un URL di avvio e raccoglie solo collegamenti esterni con scrapy. Tuttavia, il mio problema principale è

5calore

2risposta

Scrapy + Splash + ScrapyJS

sto usando Splash 2.0.2 + Scrapy 1.0.5 + Scrapyjs 0.1.1 e non riesco ancora a visualizzare javascript con un clic. Ecco un esempio url https://olx.pt/anuncio/loja-nova-com-250m2-garagem-em-box-fechada

15calore

1risposta

Chiamare Scrapy da un altro file senza threading

Devo chiamare il crawler da un altro file python, per il quale utilizzo il seguente codice. def crawl_koovs(): spider = SomeSpider() settings = get_project_settings() crawler = Crawler(

5calore

1risposta

Durante il salvataggio di elementi e file raschiati, Scrapy inserisce righe vuote nel file csv di output

Ho spider Scrapy (versione 1.0.3) in cui estraggo sia alcuni dati dalla pagina Web che anche il file di download, come questo (semplificato): def extract_data(self, response): title = response.xp

17calore

3risposta

Scrapy: pausa non bloccante

Ho un problema. Devo interrompere l'esecuzione di una funzione per un po ', ma non interrompere l'implementazione del parsing nel suo complesso. Cioè, ho bisogno di una pausa non bloccante. E 'assomig

5calore

1risposta

Differenza tra raschietto, crawler e spider nel contesto di Scrapy

Cercando di leggere il codice di Scrapy. Le parole Scaper, crawler e spider sono confuse. Per esempio scrapy.core.scraper scrapy.crawler scrapy.spiders Qualcuno potrebbe spiegare i significati e l