web-crawler

6calore

1risposta

Utilizzando middleware per evitare Scrapy dal doppio visitare siti web

Ho un problema come questo: how to filter duplicate requests based on url in scrapy Quindi, non voglio un sito web per essere sottoposti a scansione più di una volta. Ho adattato il middleware e ho sc

10calore

1risposta

Come estendere la Nutch per lo strisciante degli articoli

Cerco un framework per afferrare gli articoli, quindi trovo Nutch 2.1. Ecco il mio piano e le domande in ciascuna: Aggiungi pagine della lista articolo in url/seed.txt Qui è un problema. Quello che in

10calore

2risposta

richieste di Facebook per {url} /no_facebook_preview_picture.jpg su 404 collegamenti

Operiamo in un URL shortener, durante l'ultima settimana o così abbiamo cominciato a vedere un sacco di richieste strane per {normal url}/no_facebook_preview_picture.jpg da IP Facebook di proprietà e

8calore

1risposta

Apache Nutch 2.1 ID lotto diverso (null)

Scorro alcuni siti con Apache Nutch 2.1. Durante la scansione vedo il seguente messaggio su molte pagine: ex. Salta http://www.domainname.com/news/subcategory/111111/index.html; ID batch diverso (null

6calore

1risposta

Come faccio a sapere che una pagina è stata caricata completamente?

Sto usando python webkit.WebView e gtk per eseguire la scansione di una pagina Web. Tuttavia, la pagina web è caricata in modo dinamico da javascript. L'evento "carico terminato" di WebView non è suff

10calore

1risposta

Le parole chiave Meta sono sensibili alle maiuscole?

Is <meta name="keywords" content="mykeyword, Mykeyword"> la stessa cosa di <meta name="keywords" content="mykeyword"> sono entrambi considerati parole chiave stessi da parte di un web crawler?

8calore

3risposta

URL di riesecuzione con Nutch solo per i siti aggiornati

Ho sottoposto a scansione un URL con Nutch 2.1 e quindi desidero eseguire nuovamente la scansione delle pagine dopo l'aggiornamento. Come posso fare questo? Come posso sapere che una pagina viene aggi

5calore

1risposta

Come utilizzare correttamente le regole, restrict_xpaths per eseguire la scansione e analizzare gli URL con scrapy?

Sto provando a programmare un crawl spider per eseguire la scansione dei feed RSS di un sito Web e quindi analizzare i meta tag dell'articolo. La prima pagina RSS è una pagina che visualizza le catego

5calore

4risposta

Robotparser non sembra analizzare correttamente

Sto scrivendo un crawler e per questo sto implementando il parser robots.txt, sto usando il lib standard robotparser. Sembra che robotparser è non analisi correttamente, io sono il debug mio crawler u

5calore

1risposta

Scrapy - analizza tutte le sotto-pagine di un determinato dominio

Vorrei analizzare i progetti di kickstarter.com usando scrapy, ma non riesco a capire come realizzare i progetti di ricerca spider che non esplicitamente specificano sotto start_urls. Ho trovato la pr