Stemming - esempi di codice o progetti open source?

Question

Lo stemming è qualcosa che è necessario nei sistemi di tagging. Uso delizioso e non ho tempo per gestire e potare i miei tag. Sono un po 'più attento con il mio blog, ma non è perfetto. Scrivo software per sistemi embedded che sarebbe molto più funzionale (utile per l'utente) se includesse lo stemming

Per esempio:
Parse
Parser
di analisi

caso tutto significare la stessa cosa a qualsiasi sistema li sto mettendo in.

Idealmente c'è uno stemmer con licenza BSD da qualche parte, ma in caso contrario, dove cerco di imparare i comuni algoritmi e le tecniche per questo?

Oltre agli stemmer BSD, quali altri stemmi con licenza open source sono disponibili?

-Adam

Answer 1

Snowball Stemmer (C & Java) ho usato è vincolante Python, PyStemmer

Answer 2

Lucene ha uno Stemmer in, credo (e IIRC che consente di utilizzare il proprio uno se si desidera).

MODIFICA: appena controllato, Lucence si riferisce al sito Snowball che è una libreria di derivazione open source per quanto ne so.

Answer 3

Scopri i nltk toolkit scritto in python. Ha un funzionale stemmer.

Answer 4

Un'altra opzione per lo stemming sarebbe WordNet, insieme a one of its APIs. Alcuni basic information on stemming and lemmatization, inclusa una descrizione dell'algoritmo di Porter, possono essere trovati online in Introduction to Information Retrieval.