Estratto di emoticon da un testo

Question

Ho bisogno di estrarre emoticon di testo da un testo utilizzando Python e ho cercato alcune soluzioni per farlo ma la maggior parte di esse come this o this coprono solo emoticon semplici. Ho bisogno di analizzare all of them.

Attualmente sto usando un elenco di emoticon che faccio scorrere per ogni testo che ho elaborato ma questo è così inefficiente. Conosci una soluzione migliore? Forse una libreria Python in grado di gestire questo problema?

Answer 1

Una delle soluzioni più efficienti è utilizzare Aho–Corasick string matching algorithm ed è un algoritmo non banale progettato per questo tipo di problema. (ricerca di più stringhe predefinite in testo sconosciuto)

Per questo è disponibile il pacchetto.
https://pypi.python.org/pypi/ahocorasick/0.9
https://hkn.eecs.berkeley.edu/~dyoo/python/ahocorasick/

Edit: Ci sono anche pacchetti più recenti disponibili (rifugio provato uno di essi) https://pypi.python.org/pypi/pyahocorasick/1.0.0

extra:
ho fatto un po 'di test delle prestazioni con pyahocorasick ed è più veloce di python re quando si cerca più di 1 parola in dict (2 o più).

Qui è il codice:

import re, ahocorasick,random,time 

# search N words from dict 
N=3 

#file from http://norvig.com/big.txt 
with open("big.txt","r") as f: 
    text = f.read() 

words = set(re.findall('[a-z]+', text.lower())) 
search_words = random.sample([w for w in words],N) 

A = ahocorasick.Automaton() 
for i,w in enumerate(search_words): 
    A.add_word(w, (i, w)) 

A.make_automaton() 
#test time for ahocorasic 
start = time.time() 
print("ah matches",sum(1 for i in A.iter(text))) 
print("aho done in ", time.time() - start) 


exp = re.compile('|'.join(search_words)) 
#test time for re 
start = time.time() 
m = exp.findall(text) 
print("re matches",sum(1 for _ in m)) 
print("re done in ",time.time()-start)