nutch

5calore

1risposta

Nutch: dati letti e aggiunta di metadati

Recentemente ho iniziato a cercare l'apache nutch. Potrei fare il setup e riuscire a scansionare pagine web di mio interesse con nutch. Non ho abbastanza comprensione su come leggere questi dati. Fond

solr lucene web-crawler semantic-web nutch 2012-05-27

---

6calore

1risposta

Nutch-Cygwin Come impostare JAVA_HOME

sto cercando di eseguire Nutch con Cygwin. Sto riscontrando problemi nell'impostazione di JAVA_HOME. $ export JAVA_HOME='/cygdrive/f/program files/java/jdk1.6.0_21' quando ho eseguito il comando nut

cygwin nutch 2012-02-19

---

10calore

1risposta

Come estendere la Nutch per lo strisciante degli articoli

Cerco un framework per afferrare gli articoli, quindi trovo Nutch 2.1. Ecco il mio piano e le domande in ciascuna: Aggiungi pagine della lista articolo in url/seed.txt Qui è un problema. Quello che in

web-crawler nutch 2012-12-15

---

6calore

2risposta

Utilizzando nutch in Windows 7

Sto cercando di utilizzare nutch 1.6 dall'ambiente Windows, ma ogni volta che provo a funzionare secondo la procedura indicata nel sito Nutch Tuorial Apache finisco sempre con la seguente eccezione: E

windows windows-7 cygwin nutch 2012-12-24

---

8calore

1risposta

Apache Nutch 2.1 ID lotto diverso (null)

Scorro alcuni siti con Apache Nutch 2.1. Durante la scansione vedo il seguente messaggio su molte pagine: ex. Salta http://www.domainname.com/news/subcategory/111111/index.html; ID batch diverso (null

apache nutch web-crawler 2013-02-12

---

6calore

2risposta

Utilizzo di Solrindex Nutch per indicizzare su più core?

Esiste un parametro nel comando bin/nutch solrindex per indicare quale nucleo Solr deve indicizzare?

solr nutch 2012-05-01

---

8calore

1risposta

Errore durante l'indicizzazione nei dati solr scansionati dal nutch

Ho iniziato a lavorare con nutch e solr e ho un problema con l'integrazione di Solr con Nutch. Ho seguito questo tutorial: http://wiki.apache.org/nutch/NutchTutorial e dopo l'uso: bin/nutch crawl urls

solr indexing runtime-error nutch 2012-11-17

---

6calore

1risposta

Strisciando utilizzando Nutch ... mostra un IOException

ho iniziato ad usare Nutch e tutto è andato bene fino a quando ho incontrato un'eccezione IOException, $ ./nutch crawl urls -dir myCrawl -depth 2 -topN 4 cygpath: can't convert empty path solrUrl is

java open-source web-crawler nutch ioexception 2012-06-22

---

6calore

1risposta

Nutch on EMR problem reading da S3

Ciao Sto cercando di eseguire Apache Nutch 1.2 su EMR di Amazon. Per fare ciò, specifico una directory di input da S3. Ottengo il seguente errore: Fetcher: java.lang.IllegalArgumentException: T

java hadoop amazon-web-services nutch 2011-08-30

---

8calore

3risposta

URL di riesecuzione con Nutch solo per i siti aggiornati

Ho sottoposto a scansione un URL con Nutch 2.1 e quindi desidero eseguire nuovamente la scansione delle pagine dopo l'aggiornamento. Come posso fare questo? Come posso sapere che una pagina viene aggi

apache solr lucene nutch web-crawler 2013-01-10

---