scrapy

5calore

1risposta

Differenza tra raschietto, crawler e spider nel contesto di Scrapy

Cercando di leggere il codice di Scrapy. Le parole Scaper, crawler e spider sono confuse. Per esempio scrapy.core.scraper scrapy.crawler scrapy.spiders Qualcuno potrebbe spiegare i significati e l

5calore

1risposta

Scrapy non trova ragno

Sto facendo tutorial scrapy in scrapy documentation. Questa è la mia directory corrente assomiglia: . ├── scrapy.cfg └── tutorial ├── __init__.py ├── __init__.pyc ├── items.py ├─

14calore

3risposta

Strip \ n \ t \ r in scrapy

Sto provando a spogliare \ r \ n \ t caratteri con uno spider rognoso, facendo quindi un file json. Ho un oggetto "description" che è pieno di nuove righe e non fa ciò che voglio: abbinare ciascuna de

7calore

2risposta

Scrapy Shell e Scrapy Splash

Abbiamo utilizzato scrapy-splash middleware per passare la sorgente HTML raschiata tramite il motore javascript Splash in esecuzione all'interno di un contenitore di finestra mobile. Se vogliamo usare

5calore

1risposta

Scrapy - Come avviare più istanze dello stesso processo spider?

Sono bloccato durante l'avvio di più istanze dello stesso spider. Voglio eseguirlo come 1 url per 1 istanza Spider. Devo elaborare 50k URL e per questo ho bisogno di avviare istanze separate per ciasc

6calore

1risposta

Integrationtest di pipeline scrapy restituita differita

È possibile creare un test di integrazione di una pipeline di scrapy? Non riesco a capire come farlo. In particolare sto cercando di scrivere un test per FilesPipeline e voglio anche che mantenga la m

8calore

2risposta

ImportError: nessun modulo denominato twisted.persisted.styles

Da IDLE, ho provato a eseguire uno script con una versione 1.0.3 di scrapy appena installata. Sto utilizzando una sceneggiatura da un amico per il quale ha lavorato (ma su Windows, sono su un Mac). Da

5calore

1risposta

Perché XPath all'interno di un ciclo di selezione ancora restituito un elenco nel tutorial

sto imparando Scrapy con il tutorial: http://doc.scrapy.org/en/1.0/intro/tutorial.html Quando eseguo il seguente script di esempio nel tutorial. Ho scoperto che anche se era già in loop nella lista de

7calore

1risposta

Esecuzione di selenio senza testa con più ragni

Ho molti ragni che si muovono in parallelo utilizzando scrapyd. Quello che sto facendo è qualcosa come il seguente codice. La mia domanda è, ho davvero bisogno di avviare un display per ogni spider e

9calore

1risposta

Errore di download di scrapy e errore di remove_request

Nota dell'autore: Si potrebbe pensare che questo post sia privo di contesto o informazioni, solo perché non so da dove iniziare. Modificherò volentieri con ulteriori informazioni su richiesta. Esecuzi