Lucene 4.4. Come ottenere la frequenza dei termini su tutto l'indice?

Question

Sto provando a calcolare il valore tf-idf di ciascun termine in un documento. Quindi, faccio scorrere i termini di un documento e voglio trovare la frequenza del termine nel corpo intero e il numero di documenti in cui il termine appare. In seguito è il mio codice:

//@param index path to index directory 
//@param docNbr the document number in the index 
public void readingIndex(String index, int docNbr) { 
    IndexReader reader = DirectoryReader.open(FSDirectory.open(new File(index))); 

    Document doc = reader.document(docNbr);   
    System.out.println("Processing file: "+doc.get("id")); 

    Terms termVector = reader.getTermVector(docNbr, "contents"); 
    TermsEnum itr = termVector.iterator(null); 
    BytesRef term = null; 

    while ((term = itr.next()) != null) {    
     String termText = term.utf8ToString();        
     long termFreq = itr.totalTermFreq(); //FIXME: this only return frequency in this doc 
     long docCount = itr.docFreq(); //FIXME: docCount = 1 in all cases 

     System.out.println("term: "+termText+", termFreq = "+termFreq+", docCount = "+docCount); 
    }    

    reader.close();  
} 

Anche se la documentazione dice totalTermFreq() restituisce il numero totale di occorrenze di questo termine in tutti i documenti, quando si prova l'ho trovato restituisce solo la frequenza del termine nel documento consegnato dal docNbr . e docFreq() restituisce sempre 1.

Come posso ottenere la frequenza di un termine nell'intero indice?

Aggiornamento Naturalmente, posso creare una mappa per mappare un termine alla sua frequenza. Quindi scorrere ogni documento per contare il numero totale di volte in cui si verifica un termine. Tuttavia, pensavo che Lucene avrebbe dovuto avere un metodo integrato per quello scopo. Grazie,

Answer 1

IndexReader.TotalTermFreq(Term) fornirà questo per voi. Le chiamate ai metodi simili su TermsEnum forniscono effettivamente le statistiche per tutti i documenti, nell'enumerazione. Usando il lettore dovresti ottenere le statistiche per tutti i documenti nell'indice stesso. Qualcosa di simile:

String termText = term.utf8ToString(); 
Term termInstance = new Term("contents", term);        
long termFreq = reader.totalTermFreq(termInstance); 
long docCount = reader.docFreq(termInstance); 

System.out.println("term: "+termText+", termFreq = "+termFreq+", docCount = "+docCount);