web-crawler

30calore

1risposta

Python 3.3 TypeError: impossibile utilizzare un modello di stringa su un oggetto simile a byte in re.findall()

Sto cercando di imparare come recuperare automaticamente gli URL da una pagina. Nel seguente codice che sto cercando di ottenere il titolo della pagina web: import urllib.request import re url = "h

5calore

1risposta

Configurazione del crawler import.io con xpath o regexp

Attualmente sto cercando di impostare un web crawler per estrarre i dati dai siti web immobiliari. È una tendenza con questi siti che determinate informazioni non sono nello stesso posto per ogni pagi

10calore

1risposta

Come eseguire apache nutch diversi processi in modo parallelo

Sto usando il nutch 2.3. Tutti i lavori vengono eseguiti uno dopo l'altro, ovvero il primo generatore, il recupero, l'analisi, l'indice, ecc. Voglio eseguire alcuni lavori contemporaneamente. So che a

5calore

1risposta

Fai Scrapy seguire i collegamenti e raccogliere i dati

Sto provando a scrivere il programma in Scrapy per aprire i collegamenti e raccogliere i dati da questo tag: <p class="attrgroup"></p>. Sono riuscito a fare in modo che Scrapy raccolga tutti i collega

10calore

2risposta

scrapy crawler ha rilevato un'eccezione durante la lettura dei dati dell'istanza

Sono nuovo in Python e desidero utilizzare scrapy per creare un web crawler. Eseguo il tutorial in http://blog.siliconstraits.vn/building-web-crawler-scrapy/. Codice Spider piace seguente: from scrapy

6calore

1risposta

Richiesta ritardo scrapy

Ogni volta che eseguo il mio codice il mio IP viene bannato. Ho bisogno di aiuto per ritardare ogni richiesta per 10 secondi. Ho provato a inserire DOWNLOAD_DELAY nel codice ma non dà risultati. Quals

5calore

1risposta

Come mantenere attivo un crawler web?

Voglio scrivere il mio web crawler in JS. Sto pensando di utilizzare una soluzione node.js come https://www.npmjs.com/package/js-crawler L'obiettivo è avere una "scansione" ogni 10 minuti, quindi ogni

6calore

3risposta

Download automatico PDF selenio non funzionante

Sono un neofita del selenio e sto scrivendo un raschietto per scaricare automaticamente i file pdf da un determinato sito. Qui di seguito è il mio codice: from selenium import webdriver fp = webdriv

31calore

5risposta

Trovare i livelli e le dimensioni dei livelli per ciascuna immagine del Docker

Per scopi di ricerca, sto cercando di eseguire la scansione del registro Docker pubblico (https://registry.hub.docker.com/) e di scoprire 1) quanti livelli ha un'immagine media e 2) le dimensioni di q

5calore

1risposta

Selezionare l'opzione dal menu a tendina e inviare la richiesta utilizzando nodejs

Sto lavorando su nodejs per la scomposizione di un sito Web e sono molto nuovo su nodejs.La pagina iniziale del sito Web è un popup in cui si deve selezionare l'opzione da selectbox e inviare solo suc