tokenize

11calore

7risposta

dividere una stringa in un array in C++

Eventuali duplicati: How to split a string in C++? Ho un file di input di dati e di ogni riga è una voce. in ogni riga ogni "campo" è separato da uno spazio bianco "" quindi ho bisogno di dividere la

c++ string tokenize 2011-12-09

---

5calore

2risposta

Tokenizzazione di file TXT di grandi dimensioni (> 70 MB) utilizzando Python NLTK. Concatenazione e scrittura di dati per lo streaming di errori

Prima di tutto, sono nuovo in Python/nltk, quindi mi scuso se la domanda è troppo semplice. Ho un file di grandi dimensioni che sto cercando di tokenize; Ottengo errori di memoria. Una soluzione di cu

python nltk tokenize 2012-03-24

---

10calore

1risposta

C'è un modo per aumentare il termine originale più mentre si usano i sinonimi Solr?

Per esempio io ho sinonimi laptop, netbook, notebook in index_synonyms.txt Quando ricerca degli utenti per netbook voglio aumentare testo originale più poi ampliato da sinonimi? C'è un modo per specif

solr tokenize synonym solr-schema 2012-05-18

---

18calore

3risposta

Tokenizing unicode using nltk

Ho file di testo che utilizzano la codifica utf-8 che contiene caratteri come 'ö', 'ü', ecc. Vorrei analizzare il testo da questi file, ma non riesco a ottenere il tokenizer per lavorare bene. Se uso

python unicode nltk tokenize 2012-02-10

---

13calore

5risposta

Java StringTokenizer.nextToken() salta su campi vuoti

sto usando una scheda (/ t) come delimitatore e so che ci sono alcuni campi vuoti nei miei dati ad esempio: one->two->->three Dove -> è uguale alla scheda . Come puoi vedere, un campo vuoto è ancora

java string tokenize 2012-07-10

---

5calore

1risposta

ElasticSearch Stemming

Sto usando ElasticSerach e voglio impostare lo stemming di base per l'inglese. Quindi, in sostanza, combattente restituisce lotta o qualsiasi parola che contiene la radice di lotta. Sono un po 'confus

lucene tokenize elasticsearch analyzer stemming 2012-07-11

---

10calore

3risposta

Come evitare che i termini di sfaccettatura vengano tokenizzati

Sto utilizzando Termini facet per ottenere tutti i valori univoci e il loro conteggio per un campo. E sto ottenendo risultati sbagliati. term: web Count: 1191979 term: misc Count: 1191979 term: pa

tokenize elasticsearch 2012-04-10

---

8calore

6risposta

Dividere una stringa usando spazi bianchi in Javascript?

Ho bisogno di un tokenizer che abbia una stringa con uno spazio bianco arbitrario tra le parole creerà un array di parole senza sottostringhe vuote. Ad esempio, data una stringa: " I dont know what yo

javascript tokenize 2012-02-22

---

5calore

3risposta

Boost tokenizer per trattare la stringa quotata come un token

C'è un modo per rendere il tokenizzatore Boost da suddividere sotto stringa senza dividere la parte quotata? string s = "1st 2nd \"3rd with some comment\" 4th"; Exptected output: 1st 2nd 3rd with

c++ boost tokenize 2012-06-01

---

9calore

3risposta

C - Determinare quali delimitatore utilizzato - strtok()

Diciamo che sto usando strtok() come questo .. char *token = strtok(input, ";-/"); C'è un modo per capire quali simbolici in realtà viene utilizzato? Per esempio, se gli ingressi era qualcosa di sim

c tokenize strtok 2012-09-17

---