scrapy

10calore

3risposta

Scrapy, Python: più classi di oggetti in una pipeline?

Ho uno Spider che cancella i dati che non possono essere salvati in una classe di articolo. Per illustrazione, ho un elemento del profilo e ogni elemento del profilo potrebbe avere un numero sconosciu

5calore

1risposta

Scrapy 1.0+ accesso alle impostazioni corrette in CsvItemExporter sublcass?

In precedenza, l'accesso alle impostazioni in una sottoclasse di CsvItemExporter, che ho bisogno di modificare il delimitatore specificato nelle impostazioni, potrebbe essere fatto utilizzando: from s

5calore

2risposta

Scrapy: archivia tutti i collegamenti esterni e scansiona tutti i collegamenti interni

Ho lavorato a un raschiatore raschiato che striscia attraverso tutti i collegamenti interni da un URL di avvio e raccoglie solo collegamenti esterni con scrapy. Tuttavia, il mio problema principale è

5calore

1risposta

Durante il salvataggio di elementi e file raschiati, Scrapy inserisce righe vuote nel file csv di output

Ho spider Scrapy (versione 1.0.3) in cui estraggo sia alcuni dati dalla pagina Web che anche il file di download, come questo (semplificato): def extract_data(self, response): title = response.xp

6calore

3risposta

Come disattivare la registrazione in Scrapy (Python)

Ho creato uno spider utilizzando Scrapy ma non riesco a capire come disattivare la registrazione predefinita. Da the documentation sembra che dovrei essere in grado di spegnerlo facendo logging.basic

7calore

3risposta

Come bypassare cloudflare bot/protezione da ddos in Scrapy?

Ho usato di tanto in tanto per scansionare la pagina web di e-commerce per ottenere informazioni sui prezzi dei prodotti. Non ho usato il raschietto costruito usando Scrapy in un istante e ieri stavo

5calore

1risposta

Verificare l'indirizzo IP utilizzato per una richiesta Python/Scrapy + ProxyMesh

Ho iniziato a utilizzare ProxyMesh con Scrapy. ProxyMesh dovrebbe fornire un pool di indirizzi IP su una porta. Il codice di esempio riportato di seguito viene ripetuto in un ciclo, il middleware è ab

10calore

1risposta

Simbolo non trovato: _BIO_new_CMS

Sono nuovo di mac e non capisco perché il mio scrapy non sembra funzionare più. Sospetto che openssl non sia valido nel mio el capitan. ho provato: pip install cryptography pip install pyOpenSSL bre

7calore

2risposta

MongoDB InvalidDocument: Impossibile codificare l'oggetto

Sto utilizzando i blog di scrapy su scrap e quindi memorizzo i dati in mongodb. All'inizio ho ricevuto l'eccezione InvalidDocument. Quindi, per me è ovvio che i dati non sono nella giusta codifica. Qu

10calore

2risposta

Selenium Webdriver/Beautifulsoup + Web Scraping + Errore 416

Sto facendo web scraping utilizzando il selenio web in Python con Proxy. Desidero esplorare più di 10.000 pagine di un singolo sito utilizzando questo scraping. Issue utilizza questo proxy Sono in gra