scrapy

5calore

2risposta

Ho lavorato con Scrapy ma ho avuto un po 'di problemi. DjangoItem ha un metodo save per mantenere gli elementi utilizzando l'ORM Django. Questo è grandioso, tranne che se eseguo un raschietto più volt

5calore

1risposta

Passa valori aggiuntivi insieme a urls to scrapy spider

Ho una lista di tuple nel modulo (id, url) Ho bisogno di sottoporre a scansione un prodotto da un elenco di URL e quando questi prodotti vengono sottoposti a scansione ho bisogno di archiviare li nel

9calore

1risposta

comando 'gcc' non riuscita con stato di uscita 1 errore durante l'installazione Scrapy

Quando voglio installare Scrapy mi capita di incontrare questo errore: warning: no previously-included files found matching '*.py' Requirement already satisfied (use --upgrade to upgrade): pyOpenSSL

5calore

1risposta

Se ricevo un errore del server interno 500 in Scrapy, come faccio a saltare l'URL?

che sto raschiando dati fuori diverse migliaia di pagine con l'URL generale: http://example.com/database/?id=(some number) dove io sono in esecuzione attraverso i numeri ID. Continuo a riscontrare e

8calore

1risposta

Utilizzo del middleware per ignorare i duplicati in Scrapy

Sono principiante in Python e sto utilizzando Scrapy per un progetto Web personale. Uso Scrapy per estrarre ripetutamente i dati da diversi siti Web, quindi è necessario controllare ogni scansione se

27calore

1risposta

pitone No module named service_identity

ho provato ad aggiornare Scrapy e quando ho cercato di controllare la versione che ho ottenuto il seguente errore C:\Windows\system32>scrapy version -v :0: UserWarning: You do not have a working inst

9calore

2risposta

Come posso ottenere tutto il testo normale da un sito Web con Scrapy?

Mi piacerebbe avere tutto il testo visibile da un sito Web, dopo il rendering dell'HTML. Sto lavorando in Python con Scrapy framework. Con xpath('//body//text()') Sono in grado di ottenerlo, ma con i

5calore

3risposta

scrapy Import Errore: scrapy.core.downloader.handlers.s3.S3DownloadHandler

ho installato scrapy sulla mia macchina Windows 7 in un virtualenv chiamato scrapy. scrapy startproject funziona e ho realizzato il tutorial con documenti scrapy. Se corro scrapy crawl dmoz vengo segu

5calore

1risposta

Scrapy come ignorare gli elementi con campi vuoti usando Loader

Vorrei sapere come ignorare gli elementi che non riempiono tutti i campi, una sorta di drop, perché nell'output di scrapyd sto ottenendo pagine che non riempire tutti i campi. ho che il codice: class

11calore

4risposta

Come rendere Scrapy show user agent per richiesta di download nel log?

Sto imparando Scrapy, una struttura di scansione del web. So che posso impostare USER_AGENT nel file settings.py del progetto Scrapy. Quando eseguo Scrapy, posso vedere il valore di USER_AGENT nei reg