tokenize

5calore

1risposta

PHP: creazione di token, usando un'espressione regolare (per lo più là)

Voglio tokenize formattazione stringhe (molto approssimativamente come printf) e penso che mi manca solo un po 'piccolo: % [numero] [uno lettera ctYymd] diventa un token² $ 1 ... $ 10 diventa un token

php regex tokenize 2015-10-25

---

8calore

1risposta

Tokenizer vs filtri token

Sto cercando di implementare completamento automatico utilizzando elasticsearch pensando che ho capito come si fa ... Sto cercando di costruire multi-word (frase) suggerimenti utilizzando edge_n_grams

elasticsearch token tokenize 2016-05-11

---

8calore

4risposta

PHP: dividere una stringa di gruppi alternati di caratteri in una matrice

Ho una stringa la cui sintassi corretta è la regex ^([0-9]+[abc])+$. Quindi esempi di stringhe valide sarebbero: '1a2b' o '00333b1119a555a0c' Per chiarezza, la stringa è un elenco di coppie (valore, l

php regex tokenize regex-greedy 2016-03-25

---

5calore

2risposta

ottenere indici di testo originale da NLTK word_tokenize

Sto creazione di token di un testo utilizzando nltk.word_tokenize e mi piacerebbe ottenere anche l'indice nel testo grezzo originale per il primo carattere di ogni modo, vale a dire import nltk x = '

python text nltk tokenize 2015-07-28

---

5calore

2risposta

scissione una stringa ma mantenendo gettoni vuote C++

sto cercando di dividere una stringa e metterlo in un vettore però, voglio anche mantenere un token vuoto quando ci sono delimitatore consecutive: Ad esempio : string mystring = "::aa;;bb;cc;;c" Mi

c++ tokenize 2015-06-12

---

12calore

1risposta

tokenizer frase nltk, considera nuove righe come limite frase

Sto usando nltk's PunkSentenceTokenizer per tokenizzare un testo in un insieme di frasi. Tuttavia, il tokenizer non sembra considerare un nuovo paragrafo o nuove righe come una nuova frase. >>> from n

python nlp nltk tokenize 2015-03-13

---

22calore

1risposta

ElasticSearch Analyzer e Tokenizer per email

Non sono riuscito a trovare una soluzione perfetta in Google o ES per la seguente situazione, spero che qualcuno possa aiutare qui. Supponiamo che ci siano cinque indirizzi e-mail memorizzati in campo

email elasticsearch lucene tokenize analyzer 2015-05-08

---

7calore

1risposta

Come evitare il tokenizer della frase di NLTK che si divide sulle abbreviazioni?

Attualmente sto usando NLTK per l'elaborazione del linguaggio, ma ho riscontrato un problema di tokenizzazione della frase. Ecco il problema: Si supponga di avere una frase: "La Fig. 2 mostra una mapp

python nlp nltk tokenize 2016-01-15

---

5calore

1risposta

Come utilizzare CountVectorizerand() di sklearn per ottenere ngram che includono la punteggiatura come token separati?

Io uso sklearn.feature_extraction.text.CountVectorizer per calcolare n-grammi. Esempio: import sklearn.feature_extraction.text # FYI http://scikit-learn.org/stable/install.html ngram_size = 4 string

python nlp scikit-learn tokenize n-gram 2015-08-20

---

5calore

1risposta

Scrittura di un'espressione per estrarre ricorsivamente i dati tra parentesi

Sto provando a scrivere un'espressione regolare per dividere una stringa in elementi separati all'interno di parentesi graffe corrispondenti. Prima di tutto, deve essere ricorsivo, e in secondo luogo,

php regex recursion tokenize 2015-05-25

---