5
Recentemente ho iniziato a cercare l'apache nutch. Potrei fare il setup e riuscire a scansionare pagine web di mio interesse con nutch. Non ho abbastanza comprensione su come leggere questi dati. Fondamentalmente voglio associare i dati di ciascuna pagina con alcuni metadati (alcuni dati casuali per ora) e memorizzarli localmente, che saranno poi utilizzati per la ricerca (semantica). Devo usare solr o lucene per lo stesso? Sono nuovo di tutti questi. Per quanto ne so, Nutch viene utilizzato per eseguire la scansione di pagine Web. Può fare alcune funzionalità aggiuntive come aggiungere metadati ai dati scansionati?Nutch: dati letti e aggiunta di metadati
Hi CRS, dal momento che hai contrassegnato la tua domanda con 'semantic-web' Presumo che si desidera estrarre alcuni dati strutturati dalle pagine che si desidera eseguire la scansione (sia Microformats, RDFa e/o Microdata). Se questo è il caso, risparmierà un sacco di tempo guardando Any23 (http://incubator.apache.org/any23/) (che potrebbe essere integrato con Nutch e probabilmente qualcuno sta già provando a farlo o lo ha già fatto). – castagna
Grazie per la risposta. Daremo un'occhiata a Any23. In realtà sto eseguendo la scansione di pagine Web "normali". Non è associato a nessun metadata. Abbiamo un algoritmo che calcola i metadati dal testo da queste pagine web. Questi metadati dovrebbero essere aggiunti alla copia locale della pagina web. Quindi sto cercando un crawler che esegue la scansione delle pagine Web ed estrae il contenuto e quindi inserisce i metadati nella copia locale delle pagine Web. – CRS