scrapy

21calore

2risposta

come implementare l'elemento annidato in scrapy?

Sto raschiando alcuni dati con informazioni gerarchiche complesse e ho bisogno di esportare il risultato in json. ho definito gli elementi come class FamilyItem(): name = Field() sons = Fiel

6calore

3risposta

Come accedere a un start_url specifico in Scrapy CrawlSpider?

Sto utilizzando Scrapy, in particolare la classe CrawlSpider di Scrapy per analizzare i collegamenti Web che contengono determinate parole chiave. Ho una lista abbastanza lunga di start_urls che ottie

6calore

3risposta

Esegui Javascript Invia funzioni modulo utilizzando scrapy in python

Sto analizzando un sito utilizzando framework scrapy e avendo problemi a fare clic su un collegamento javascript per aprire un'altra pagina. posso identificare il codice sulla pagina come: <a class="P

5calore

1risposta

Cercando di installare Scrapy - errore: Impossibile trovare "openssl.exe"

Qualche idea su come risolvere questo problema? Sto usando pip per installare Scrapy su una macchina Win XP Pro SP 3. Ho installato Python 2.7 sulla macchina. Sembra che ci sia un problema con pyOpenS

8calore

2risposta

La combinazione di URL di base con href conseguente Scrapy

sotto è il mio codice di ragno, class Blurb2Spider(BaseSpider): name = "blurb2" allowed_domains = ["www.domain.com"] def start_requests(self): yield self.make_requests_from_url(

9calore

2risposta

Esegui più ragni scrapy in una sola volta usando scrapyd

Sto usando scrapy per un progetto in cui voglio raschiare un numero di siti - forse centinaia - e devo scrivere uno spider specifico per ogni sito. Posso programmare uno ragno in un progetto distribui

16calore

3risposta

scraping il file con html salvato nel sistema locale

Ad esempio, ho avuto un sito "www.example.com" In realtà voglio raschiare l'html di questo sito salvando sul sistema locale. così per il test ho salvato la pagina sul mio desktop come example.html Ora

7calore

4risposta

Esecuzione di più spider in scrapy

In scrapy per esempio se avessi due URL che contengono HTML diversi. Ora voglio scrivere due singoli spider ciascuno per uno e voglio eseguire entrambi gli spider contemporaneamente. In scrapy è possi

8calore

3risposta

Cattura di codici di stato http con ragno graffiato

Sono nuovo di scrapy. Sto scrivendo uno spider progettato per controllare un lungo elenco di URL per i codici di stato del server e, dove appropriato, a quali URL sono reindirizzati. È importante sott

9calore

2risposta

come elaborare tutti i tipi di eccezione in un progetto scrapy, in errback e callback?

Attualmente sto lavorando a un progetto di raschiamento che è molto importante per garantire che OGNI richiesta sia stata gestita correttamente, ovvero per registrare un errore o per salvare un risult