scrapy

33calore

6risposta

Scrapy getta ImportError: non si può importare nome xmlrpc_client

Dopo l'installazione Scrapy via pip, e avendo Python 2.7.10: scrapy Traceback (most recent call last): File "/usr/local/bin/scrapy", line 7, in <module> from scrapy.cmdline import execute File "/L

6calore

1risposta

Come passare più argomenti a Scrapy spider (l'errore di esecuzione di 'scrapy crawl' con più di uno spider non è più supportato)?

Vorrei passare più argomenti definiti dall'utente al mio Scrapy spyder, così ho provato a seguire questo post: How to pass a user defined argument in scrapy spider Tuttavia, quando seguo il consiglio

5calore

1risposta

Esportare i dati di scraping in più formati utilizzando scrapy

Sto raschiando un sito Web per esportare i dati in un formato semantico (n3). Tuttavia, voglio anche eseguire alcune analisi dei dati su quei dati, quindi averlo in un formato csv è più conveniente. p

5calore

2risposta

Errore Scrapy: exception.AttributeError: L'oggetto 'HtmlResponse' non ha attributo 'urljoin'

Ho installato scrapy usando pip e ho provato l'esempio nella documentazione scrapy. ho ottenuto l'errore cannot import name xmlrpc_client Dopo aver guardato in una domanda stachoverflow here ho fissat

5calore

2risposta

Come posso rilevare gli errori con scrapy così posso fare qualcosa quando ottengo l'errore Timeout utente?

ERROR: Error downloading <GET URL_HERE>: User timeout caused connection failure. Ottengo questo problema ogni tanto quando si utilizza il mio raschietto. C'è un modo per prendere questo problema ed

10calore

2risposta

scrapy crawler ha rilevato un'eccezione durante la lettura dei dati dell'istanza

Sono nuovo in Python e desidero utilizzare scrapy per creare un web crawler. Eseguo il tutorial in http://blog.siliconstraits.vn/building-web-crawler-scrapy/. Codice Spider piace seguente: from scrapy

6calore

1risposta

Richiesta ritardo scrapy

Ogni volta che eseguo il mio codice il mio IP viene bannato. Ho bisogno di aiuto per ritardare ogni richiesta per 10 secondi. Ho provato a inserire DOWNLOAD_DELAY nel codice ma non dà risultati. Quals

8calore

2risposta

python install lxml su mac os 10.10.1

Ho comprato un nuovo macbook e sono così nuovo su mac os. Tuttavia, ho letto molto su internet su come installare rottami ho fatto di tutto, ma ho un problema con l'installazione di lxml Ho provato qu

5calore

1risposta

Integrare il selenio con Scrapy

C'è un modo per integrare efficacemente Selenium in Scrapy per le sue capacità di rendering della pagina (per generare schermate)? Un sacco di soluzioni che ho visto solo gettare un URL di richiesta/r

5calore

1risposta

Come usare re() per estrarre i dati dalla variabile javascript usando scrapy?

Il mio file items.py va in questo modo: from scrapy.item import Item, Field class SpiItem(Item): title = Field() lat = Field() lng = Field() add = Field() e il ragno è: import