Estrarre la prima lettera di una stringa UTF-8 con Lua

Question

C'è un modo per estrarre la prima lettera di una stringa codificata UTF-8 con Lua?

Lua non supporta correttamente Unicode, quindi string.sub("ÆØÅ", 2, 2) restituirà "?" anziché "Ø".

Esiste un algoritmo di analisi UTF-8 relativamente semplice che potrei utilizzare sul byte di stringa per byte, al solo scopo di ottenere la prima lettera della stringa, sia essa un carattere cinese o una A?

O è troppo complesso, che richiede una grande biblioteca, ecc?

Answer 1

Si può facilmente estrarre la prima lettera di una stringa codificata UTF-8 con il seguente codice:

function firstLetter(str) 
    return str:match("[%z\1-\127\194-\244][\128-\191]*") 
end 

Poiché un punto di codice UTF-8 sia inizia con un byte da 0 a 127, o con un byte da 194 a 244 seguito da uno o più byte da 128 a 191.

È anche possibile iterate sopra UTF-8 punti di codice in una maniera simile:

for code in str:gmatch("[%z\1-\127\194-\244][\128-\191]*") do 
    print(code) 
end 

noti che entrambi gli esempi restituiscono un valorestringa per ogni lettera, e non il punto di codice Unicode valore numerico.

Answer 2

Lua 5.3 fornire un UTF-8 library.

È possibile utilizzare utf8.codes per ottenere ogni punto di codice, e quindi utilizzare utf8.char per ottenere il carattere:

local str = "ÆØÅ" 
for _, c in utf8.codes(str) do 
    print(utf8.char(c)) 
end 

---

Questo funziona anche:

local str = "ÆØÅ" 
for w in str:gmatch(utf8.charpattern) do 
    print(w) 
end 

dove utf8.charpattern è solo la stringa "[\0-\x7F\xC2-\xF4][\x80-\xBF]*" affinché il modello corrisponda a una sequenza di byte UTF-8.