Elenco di "token" su Lucene 3

Question

Sono nuovo di Lucene, ho iniziato a imparare il ramo della versione 3 e c'è una cosa che non capisco (ovviamente perché non ho esperienza nell'argomento).

In Lucene 2.9, se volessi un elenco di token, creerei una classe ArrayList di Token, ad esempio ArrayList. Questo è abbastanza intuitivo per me e il concetto di token è molto chiaro.

Ora che l'utilizzo della classe Token è disattivato a favore dell'API basata sugli attributi, devo creare la mia classe per incapsulare gli attributi che voglio? Se sì, non è quello che ricrea quasi la lezione dei Token di Lucene?

Sto facendo una lezione per testare gli analizzatori, e avere una lista di token risultanti rende più facile testare, credo.

Qualsiasi aiuto sarebbe apprezzato;) Grazie!

Answer 1

Secondo Token Javadoc, "Anche se non è necessario y per usare più Token, con la nuova API TokenStream può essere usata come classe di convenienza che implementa tutti gli Attributi, che è particolarmente utile per passare facilmente dalla vecchia alla nuova API TokenStream. "

Suggerisco di continuare a utilizzare un token. Corrisponde alla descrizione di cui sopra.

Answer 2

Penso che si possa fare qualcosa di simile:

TokenStream tkst = analyzer.tokenStream("field", "text");
Token token = tkst.getAttribute(Token.class);
while (tkst.incrementToken()) {
// Do something with token.
}

La documentazione corretta è nel pacchetto di analisi: http://lucene.apache.org/java/3_0_2/api/all/org/apache/lucene/analysis/package-summary.html

Answer 3

utilizzare la classe TermAttribute:

TokenStream stream = analyzer.tokenStream("field", "text"); 
TermAttribute termAttr = stream.getAttribute(TermAttribute.class); 
while (stream.incrementToken()) { 
    String token = termAttr.term(); 
}