Normalizzazione JavaScript Unicode

Question

Ho l'impressione che l'interprete JavaScript presupponga che il codice sorgente che sta interpretando sia già stato normalizzato. Cosa fa esattamente la normalizzazione? Non può essere l'editor di testo, altrimenti la rappresentazione in chiaro della sorgente cambierebbe. C'è un "preprocessore" che fa la normalizzazione?

Answer 1

No, non esiste alcuna funzione di normalizzazione Unicode utilizzata automaticamente o anche disponibile per JavaScript come da ECMAScript 5. Tutti i caratteri rimangono invariati come i loro punti di codice originali, potenzialmente in forma non normale.

ad esempio prova:

<script type="text/javascript"> 
    var a= 'café';   // caf\u00E9 
    var b= 'café';   // cafe\u0301 
    alert(a+' '+a.length); // café 4 
    alert(b+' '+b.length); // café 5 
    alert(a==b);   // false 
</script> 

Aggiornamento:ECMAScript 6 will introduce Unicode normalization for JavaScript strings.

Answer 2

Se stai usando node.js, c'è una biblioteca unorm per questo.

https://github.com/walling/unorm

Answer 3

ECMAScript 6 introduce String.prototype.normalize() che si occupa di normalizzazione Unicode per voi.

unorm è un polyfill JavaScript per questo metodo, quindi è possibile utilizzare già String.prototype.normalize() anche se al momento non è supportato un singolo motore in modo nativo.

Per ulteriori informazioni su come e quando utilizzare la normalizzazione Unicode in JavaScript, vedere JavaScript has a Unicode problem – Accounting for lookalikes.

Answer 4

Ho aggiornato la risposta s' @bobince:

var cafe4= 'caf\u00E9'; 
var cafe5= 'cafe\u0301'; 


console.log (
    cafe4+' '+cafe4.length,     // café 4 
    cafe5+' '+cafe5.length,     // café 5 
    cafe4 === cafe5,       // false 
    cafe4.normalize() === cafe5.normalize() // true 
);