Qual è il miglior strumento per crawler web Open Source scritto in Java?

Qual è il miglior strumento per crawler web Open Source, scritto in Java.Qual è il miglior strumento per crawler web Open Source scritto in Java?

fonte

2011-12-12 cuneytykaya

Prova crawler4j. È open source e facile da usare. Puoi consultare questa guida per configurare crawler4j - http://www.buggybread.com/2013/01/create-your-own-email-and-image.html –

Prova crawler4j. Hai solo bisogno di implementare una semplice interfaccia che controlli quali URL visitare e cosa fare con ciascuna pagina sottoposta a scansione.

fonte

2011-12-12 12:20:46 Andy

Ho problemi con la scansione di siti Web HTTPS che utilizzano questo crawler ("sito non è riuscito a rispondere "mentre si apre bene nel browser ecc.) – ed22

in java Penso che si riduce a Nutch vs Heritrix. Dovresti specificare quali sono le tue esigenze per ottenere una risposta migliore.

fonte

2011-12-12 12:20:03 riffraff

Qual è il miglior strumento per crawler web Open Source scritto in Java?

risposta

Problemi correlati