web-crawler

11calore

5risposta

Qual è la tua raccomandazione di scrivere un web crawler in Ruby? Qualche lib meglio di meccanizzare?

5calore

6risposta

Ora con il Web 2.0, la tendenza è AJAX, ci sono molti framework esistenti sul mercato che promuovono AJAX, ma AJAX è davvero SEO friendly?

5calore

7risposta

Download in massa di pagine Web C#

La mia applicazione richiede di scaricare una grande quantità di pagine Web in memoria per un'ulteriore analisi ed elaborazione. Qual è il modo più veloce per farlo? Il mio metodo attuale (mostrato so

6calore

2risposta

Come sapere se HTTP Request è un BOT

Sto cercando un elenco completo di User-Agent di BOT (crawler, spider, twitter bot, ecc.). Sai qualcosa? Grazie

7calore

7risposta

Quali librerie di web crawler PHP sono disponibili?

Sto cercando alcuni script di web crawler PHP robusti e ben documentati. Forse una porta PHP del progetto Java - http://wiki.apache.org/nutch/NutchTutorial Sto cercando sia versioni gratuite che non.

21calore

5risposta

come estrarre link e titoli da una pagina .html?

per il mio sito Web, vorrei aggiungere una nuova funzionalità. vorrei utente sia in grado di caricare il suo file di segnalibri di backup (da qualsiasi browser, se possibile) in modo da poter caricare

9calore

3risposta

Collegamento a singole mail in gmail

Desidero scaricare tutte le email in un account Gmail e voglio anche ottenere l'url univoco che aprirà la posta esatta in gmail, ovviamente con autenticazione. Ho provato ad usare la libreria imap jav

13calore

2risposta

Riprodurre uno spider Scrapy sui dati memorizzati

Ho iniziato a utilizzare Scrapy per analizzare alcuni siti Web. Se successivamente aggiungo un nuovo campo al mio modello o cambio le mie funzioni di analisi, mi piacerebbe poter "riprodurre" i dati g

16calore

3risposta

Come impedire a Bing di inondare il mio sito con traffico irregolare?

Bingbot colpirà il mio sito abbastanza duramente per un paio d'ore al giorno e sarà estremamente leggero per il resto del tempo. Mi piacerebbe sia per appianare le scansioni, ridurre il limite di velo

6calore

4risposta

Salva tutti i file di immagine da un sito web

Sto creando una piccola app per me stesso in cui eseguo uno script Ruby e salvo tutte le immagini del mio blog. Non riesco a capire come salvare i file di immagine dopo che li ho identificati. Qualsia