web-crawler

12calore

3risposta

Erlang è la scelta giusta per un webcrawler?

Sto pianificando di scrivere un webcrawler per un progetto NLP, che legge la struttura di thread di un forum ogni volta in un intervallo specifico e analizza ogni thread con nuovi contenuti. Attravers

10calore

4risposta

Tor Web Crawler

Ok, ecco quello che mi serve. Ho un web crawler basato su PHP. http://rz7ocnxxu7ka6ncv.onion/ Ora, il mio problema è che il mio ragno che effettivamente esegue la scansione delle pagine deve farlo su

9calore

3risposta

Come ottenere il codice sorgente di una pagina Web da Java

Voglio solo recuperare il codice sorgente di qualsiasi pagina Web da Java. Ho trovato un sacco di soluzioni fino ad ora, ma non sono riuscito a trovare alcun codice che funziona per tutti i link qui s

7calore

2risposta

Ruby, Mongodb, Anemone: web crawler con possibili perdite di memoria?

Ho iniziato a conoscere di recente i web crawler e ho creato un crawler di esempio con Ruby, Anemone e Mongodb per l'archiviazione. Sto testando il crawler su un enorme sito Web pubblico con possibilm

5calore

1risposta

Estrarre dati tag di estensione utilizzando Jsoup

Sto cercando di estrarre il contenuto specifico in html utilizzando Jsoup. Di seguito è riportato il contenuto HTML di esempio. <html xmlns="http://www.w3.org/1999/xhtml"> <head> </head> <body clas

149calore

5risposta

Come richiedere a Google di eseguire nuovamente la scansione del mio sito Web?

Qualcuno conosce un modo per richiedere a Google di eseguire nuovamente la scansione di un sito Web? Se possibile, questo non dovrebbe durare mesi. Il mio sito mostra un vecchio titolo nei risultati d

12calore

1risposta

start_urls dinamico in scrapy

Sto usando scrapy per eseguire la scansione di più pagine su un sito. La variabile start_urls viene utilizzata per definire le pagine da sottoporre a ricerca per indicizzazione. avrei inizialmente ini

26calore

3risposta

python: [Errno 10054] Una connessione esistente è stata chiusa forzatamente dall'host remoto

Sto scrivendo python per eseguire la scansione dello spazio Twitter utilizzando Twitter-py. Ho impostato il crawler per dormire per un po '(2 secondi) tra ogni richiesta a api.twitter.com. Tuttavia, d

5calore

6risposta

Come progettare un crawler bot?

Sto lavorando a un piccolo progetto per analizzare il contenuto di alcuni siti che trovo interessanti; questo è un vero progetto fai-da-te che sto facendo per il mio spettacolo/illuminazione, quindi m

5calore

1risposta

Come posso eseguire il reindirizzamento di google nella mia applicazione (web o console)

Come posso reindirizzare google-like nella mia applicazione (web o console). Ho bisogno di ricapitolare solo quelle pagine che vengono aggiornate dopo una data specifica. L'intestazione LastModified i