web-crawler

13calore

4risposta

Strategia su come eseguire la scansione/indicizzazione di pagine Web aggiornate di frequente?

Sto cercando di creare un motore di ricerca di nicchia molto piccolo, utilizzando Nutch per eseguire la scansione di siti specifici. Alcuni dei siti sono notizie/siti di blog. Se eseguo la scansione,

63calore

5risposta

I conteggi di download di PyPi sembrano irrealistici

Ho messo a package on PyPi per la prima volta ~ 2 mesi fa e ho apportato alcuni aggiornamenti di versione da allora. Ho notato questa settimana la registrazione del conteggio dei download e sono rimas

21calore

6risposta

Come dare URL a scrapy per la scansione?

Desidero utilizzare scrapy per la scansione di pagine Web. C'è un modo per passare l'URL di partenza dal terminale stesso? Si è dato nel documentation che o il nome del ragno o l'URL può essere dato,

9calore

1risposta

Come si fermano tutti gli spider e il motore immediatamente dopo che una condizione in una pipeline è soddisfatta?

Abbiamo un sistema scritto con scrapy per eseguire la scansione di alcuni siti Web. Ci sono diversi ragni, e un paio di condutture in cascata per tutti gli articoli passati per tutti i crawler. Uno de

8calore

4risposta

Semplice web crawler in C#

Ho creato un semplice web crawler ma voglio aggiungere la funzione di ricorsione in modo che ogni pagina aperta possa ottenere gli URL in questa pagina, ma non ho idea di come posso farlo e voglio anc

6calore

1risposta

Esecuzione JavaScript a href dei link con Python

Sto cercando di scaricare alcuni PDF automaticamente su un sito (http://bibliotecadigitalhispanica.bne.es) utilizzando Python. Ho provato a utilizzare i moduli urllib/urllib2/mechanize (che ho utilizz

7calore

1risposta

Collegamento insieme> 100 pagine senza penalizzazione SEO

Sto creando un sito che avrà recensioni delle politiche sulla privacy di centinaia di migliaia di altri siti su Internet. Il suo contenuto iniziale si basa sul mio run through the web dump di 5 miliar

16calore

5risposta

Creazione di un ragno graffiante generico

La mia domanda è davvero come fare la stessa cosa di una domanda precedente, ma in Scrapy 0.14. Using one Scrapy spider for several websites Fondamentalmente, ho GUI che accetta parametri come dominio

5calore

1risposta

Come impedire ai robot di eseguire la scansione dei miei URL basati su AJAX?

Ho diverse pagine sul mio sito Web ASP.NET MVC 3 (non che la tecnologia abbia importanza qui), dove rilevo determinati URL in un tag <script> nella pagina, in modo che il mio JavaScript (memorizzato i

16calore

2risposta

: errore di ricerca per indicizzazione

Sono un novizio per Python. Sto eseguendo Python 2.7.3 versione 32 bit su sistema operativo a 64 bit. (Ho provato 64 bit ma non l'allenamento). Ho seguito il tutorial e installato scrapy sulla mia mac