scrapy

7calore

1risposta

Scrapy Crawling Speed ​​è lento (60 pagine/min)

Sto riscontrando una velocità di scansione lenta con scrapy (circa 1 pagina/sec). Sto eseguendo la scansione di un sito Web principale da server aws, quindi non penso che sia un problema di rete. L'ut

python http scrapy web-crawler 2012-11-22

---

9calore

1risposta

Come distribuire un ragno Scrapy sul cloud Heroku

Ho sviluppato alcuni ragni in scrapy & Voglio testare quelli sul cloud Heroku. Qualcuno ha qualche idea su come dispiegare un ragno Scrapy sul cloud Heroku?

python python-2.7 heroku scrapy 2012-10-08

---

8calore

1risposta

Scrapy exceptions tutorial

Sto seguendo la documentazione del tutorial Scrapy al http://media.readthedocs.org/pdf/scrapy/0.14/scrapy.pdf e ho verificato che items.py e dmoz_spider.py siano stati digitati (non tagliati & incolla

scrapy 2012-10-08

---

24calore

4risposta

Come configurare e lanciare un ragno Scrapy di programmazione (URL e impostazioni)

Ho scritto un cingolato di lavoro utilizzando Scrapy, ora voglio controllarlo attraverso una webapp Django, vale a dire: Set 1 o più start_urls Set 1 o più allowed_domains Set settings valori Avviare

python scrapy scrapyd 2012-10-21

---

5calore

9risposta

Scrapy HtmlXPathSelector

Solo provando a cercare di far funzionare un ragno di base. So che questo è probabilmente qualcosa che mi manca ma ho provato tutto quello che riesco a pensare. L'errore che ottengo è: line 11, in Jus

scrapy 2012-09-03

---

5calore

1risposta

La funzione di Python Scrapy deve essere richiamata appena prima che venga inviato il segnale spider_closed?

Ho scritto uno spider che utilizza scrapy, uno che fa un sacco di richieste HtmlXPathSelector per separare i siti. Crea una riga di dati in un file .csv dopo che ciascuna richiesta è (in modo asincron

python signals scrapy web-crawler 2012-10-24

---

7calore

4risposta

scrapy come impostare l'URL di riferimento

Ho bisogno di impostare l'URL di riferimento, prima di raschiare un sito, il sito utilizza l'autenticazione basata su url, quindi non mi consente di accedere se il referente non è valido. Qualcuno pot

screen-scraping scrapy 2012-10-25

---

27calore

5risposta

scrapy: chiama una funzione quando un ragno si interrompe

C'è un modo per attivare un metodo in una classe Spider appena prima che termini? posso terminare il ragno me stesso, in questo modo: class MySpider(CrawlSpider): #Config stuff goes here...

python scrapy 2012-09-12

---

5calore

1risposta

Come posso migliorare la velocità di download di scrapy?

Sto usando scrapy per scaricare pagine da molti domini diversi in parallelo. Ho centinaia di migliaia di pagine da scaricare, quindi le prestazioni sono importanti. Sfortunatamente, come ho profilato

python scrapy 2012-09-14

---

5calore

1risposta

Scrapy Spider restituisce None anziché Item

Ho trovato la risposta, in basso. In breve, l'indentazione errata nella ItemPipeline ha causato il ritorno di None. Ho cercato di scrivere un CrawlSpider in Scrapy, non avendo mai lavorato con Python

python python-2.7 web-scraping scrapy 2012-10-03

---