Come può Stanford CoreNLP denominare Entity Recognition acquisire misurazioni come 5 pollici, 5 ", 5 pollici, 5 in

Question

Sto cercando di acquisire misurazioni utilizzando Stanford CoreNLP. (Se è possibile suggerire un estrattore diverso, va bene anche questo.)

per esempio, voglio trovare 15kg, 15 kg, 15,0 kg, 15 kg, 15 libbre, 15 chili, ecc Ma tra CoreNLPs regole di estrazione, I don ne vedo uno per le misure.

Naturalmente, posso farlo con regex puri, ma i toolkit possono essere eseguiti più rapidamente e offrono l'opportunità di eseguire il chunk a un livello superiore, ad es. per trattare gb e gigabyte insieme, e RAM e memoria come blocchi - anche in assenza di analisi sintattica - come costruire unità più grandi come 128 gb RAM e 8 gigabyte di memoria.

Voglio un estrattore per questo che è basato su regole, non basato su apprendimento macchina), ma non ne vedo uno come parte di RegexNer o altrove. Come faccio a fare questo?

IBM Named Entity Extraction può fare questo. Le regex vengono eseguite in modo efficiente anziché passare il testo attraverso ciascuna di esse. E le regex sono raggruppate per esprimere entità significative, come per esempio quella che unisce tutte le unità di misura in un singolo concetto.

Answer 1

Non credo che esista un sistema basato su regole per questo compito particolare. Tuttavia, non dovrebbe essere difficile da realizzare con TokensregexNER.Ad esempio, una mappatura simile:

[{ner:NUMBER}]+ /(k|m|g|t)b/ memory? MEMORY 
[{ner:NUMBER}]+ /"|''|in(ches)?/  LENGTH 
... 

Si potrebbe provare a utilizzare la vaniglia TokensRegex pure, e poi semplicemente estrarre il relativo valore con un gruppo di cattura:

(?$group_name [{ner:NUMBER}]+) /(k|m|g|t)b/ memory? 

Answer 2

È possibile creare i propri dati di allenamento ed etichettare le misure richieste di conseguenza.

Per esempio, se si dispone di una frase come Jack weighs about 50 kgs

Così il modello classificherà il vostro input come:

Jack, PERSONA
pesa, O
circa, O
50, MES
kg, MES

Dove MES indica le misurazioni.

Ho recentemente creato i dati di allenamento per il Stanford NER tagger per il mio problema personalizzato e ne ho creato un modello.

Credo che per Stanford CoreNLP NER Inoltre è possibile fare la stessa cosa

Questo può essere un approccio machine learning-based piuttosto che un approccio rule-based