scrapy

9calore

3risposta

come gestire reindirizzamento 302 nel Scrapy

Sto ricevendo una risposta 302 da un server, mentre la demolizione di un sito web: 2014-04-01 21:31:51+0200 [ahrefs-h] DEBUG: Redirecting (302) to <GET http://www.domain.com/Site_Abuse/DeadEnd.htm> fr

7calore

1risposta

Come selezionare il prossimo nodo utilizzando Scrapy

ho html si presenta così: <h1>Text 1</h1> <div>Some info</div> <h1>Text 2</h1> <div>...</div> capisco come estrarre utilizzando le informazioni Scrapy da H1: content.select("//h1[contains(text(),

5calore

3risposta

Come raccogliere le statistiche all'interno della callback di ragno graffiante?

Come posso raccogliere le statistiche da un callback spider? Esempio class MySpider(Spider): name = "myspider" start_urls = ["http://example.com"] def parse(self, response): stats.set

20calore

2risposta

Scrapy, rottamazione dei dati all'interno di un Javascript

Sto usando scrapy per analizzare i dati di raschiatura da un sito web. Tuttavia, i dati che volevo non si trovavano all'interno dello stesso codice HTML, ma da un javascript. Quindi, la mia domanda è:

30calore

2risposta

Accesso ai modelli di Django con scrapy: definizione del percorso per il progetto Django

Sono molto nuovo a Python e Django. Attualmente sto esplorando usando Scrapy per raschiare i siti e salvare i dati nel database Django. Il mio obiettivo è quello di eseguire uno spider basato sul domi

5calore

2risposta

Scraping pagine web abilitate ajax

Ho bisogno di grattare pagine di carriera di più società (con il loro permesso). fattori importanti per decidere quello che si usa sarei raschiando circa 2000 pagine al giorno, quindi hanno bisogno di

6calore

2risposta

Python Scrapy: popola start_urls da mysql

Sto tentando di popolare start_url con un SELECT da una tabella MYSQL utilizzando spider.py. Quando eseguo "scrapy runpider spider.py" non ottengo output, solo che è finito senza errori. Ho testato la

7calore

1risposta

Scrapy: limita il numero di richieste o richieste byte

Sto usando un scrapy CrawlSpider e ho definito un reattore twistato per controllare il mio crawler. Durante i test ho sottoposto a scansione un sito di notizie che raccoglieva più di GB di dati. Princ

10calore

5risposta

Come impostare diverse impostazioni di scrapy per diversi spider?

Desidero abilitare alcuni proxy http per alcuni spider e disabilitarli per altri spider. Posso fare qualcosa di simile? # settings.py proxy_spiders = ['a1' , b2'] if spider in proxy_spider: #how to

5calore

1risposta

come costruire il mio ragno scrapy in un file exe usando py2exe?

Io uso scrapy per creare un progetto e aggiungere il mio ragno, dite "spider_us.py", nella cartella "spiders", e voglio creare un file exe che possa essere eseguito su altri computer senza installare