tokenize

8calore

2risposta

Boost :: Dividi con intere stringhe come delimitatore

Vorrei sapere se esiste un metodo che utilizza boost :: split per dividere una stringa utilizzando intere stringhe come delimitatore. Ad esempio: str = "xxaxxxxabcxxxxbxxxcxxx" c'è un metodo per suddi

c++ string boost tokenize 2011-09-15

---

8calore

2risposta

Conflitto di divisione/RegExp durante la tokenizzazione Javascript

Sto scrivendo un semplice tokenizer javascript che rileva i tipi di base: Word, Number, String, RegExp, Operator, Comment e Newline. Tutto sta andando bene, ma non riesco a capire come rilevare se il

javascript regex token tokenize 2011-01-18

---

6calore

1risposta

Come fermare il risultato in solr, quando la frase che contiene una parola chiave?

Ho un problema durante la ricerca con Solr una frase che ha stopwords. Solr invia il risultato con stopword e questo non è il mio output previsto. Ho aggiunto una parola "test" nel file stopwords.txt.

search solr tokenize stop-words 2011-11-26

---

7calore

3risposta

tokenizing una stringa due volte in c con strtok()

Sto usando strtok() in c per analizzare una stringa csv. Per prima cosa ne faccio un token per scoprire quanti token ci sono in modo da poter allocare una stringa della dimensione corretta. Quindi uti

c csv tokenize strtok 2010-12-28

---

8calore

1risposta

Boost :: tokenizer separati da virgola (C++)

Dovrebbe essere facile per voi ragazzi ..... Sto giocando intorno con tokenizers utilizzando Boost e voglio creare un token che è separato da virgole. qui è il mio codice: string s = "this is, , , a t

c++ boost tokenize boost-tokenizer 2011-10-29

---

5calore

1risposta

Come utilizzare NGramTokenizerFactory o NGramFilterFactory?

Recentemente, sto studiando come memorizzare e indicizzare usando Solr. Voglio fare la ricerca facet.prefix. Con il tokenizzatore degli spazi bianchi, "Where are you" sarà diviso in tre parole e indic

solr tokenize lucene 2011-01-12

---

7calore

3risposta

URLing e interrogazione URL in Solr

Ho un database di URL che vorrei cercare. Poiché gli URL non sono sempre scritti allo stesso modo (può o non può avere www), sto cercando il modo corretto per gli URL di indice e di query. Ho provato

url indexing solr tokenize querying 2011-01-13

---

7calore

4risposta

Solr: query a frase esatta con EdgeNGramFilterFactory

In Solr (3.3), è possibile rendere un campo lettera per lettera ricercabile tramite un EdgeNGramFilterFactory e anche per le query a frase? Per esempio, io sono alla ricerca di un campo che, se conten

solr tokenize phrase 2011-09-30

---

5calore

1risposta

Solr (Lucene) sta indicizzando solo il primo documento dopo aver aggiunto un TokenFilter personalizzato

Ho creato un filtro token personalizzato che concatena tutti i token nel flusso. Questa è la mia funzione incrementToken() public boolean incrementToken() throws IOException { if (finished)

search lucene solr tokenize 2011-10-01

---

9calore

1risposta

Differenza tra StandardTokenizerFactory e KeywordTokenizerFactory in Solr?

Sono nuovo di Solr.Voglio sapere quando usare StandardTokenizerFactory e KeywordTokenizerFactory? Ho letto i documenti su Apache Wiki, ma non lo capisco. Qualcuno può spiegare la differenza tra Standa

java solr solrnet tokenize 2011-10-04

---