Conversione di una stringa Unicode con escape in ASCII

Question

Dopo aver letto tutto su iconv e Encoding, sono ancora confuso.

Sto raschiando la fonte di un web page Ho una stringa simile a questa: 'pretty\u003D\u003Ebig' (visualizzata nella console R come 'pretty\\\u003D\\\u003Ebig'). Voglio convertire questo nella stringa ASCII, che dovrebbe essere 'pretty=>big'.

Più semplicemente, se ho impostato

x <- 'pretty\\u003D\\u003Ebig' 

Come si esegue una conversione sul x a cedere pretty=>big?

Qualche suggerimento?

Answer 1

Usa parsing, ma non valutare i risultati:

x1 <- 'pretty\\u003D\\u003Ebig' 
x2 <- parse(text = paste0("'", x1, "'")) 
x3 <- x2[[1]] 
x3 
# [1] "pretty=>big" 
is.character(x3) 
# [1] TRUE 
length(x3) 
# [1] 1 

Answer 2

I sympathize; Ho faticato con R e testo unicode in passato e non sempre con successo. Se i dati sono in x quindi in primo luogo cercare una sostituzione globale, qualcosa di simile:

x <- gsub("\u003D", "=>", x) 

volte uso una costruzione come

lapply(x, utf8ToInt) 

per vedere dove i punti di codice alti sono per esempio qualcosa di più di 150. Questo mi aiuta a individuare i problemi causati da spazi non interrotti, per esempio, che sembrano saltar fuori ogni tanto.

Answer 3

> iconv('pretty\u003D\u003Ebig', "UTF-8", "ASCII") 
[1] "pretty=>big" 

ma sembrano avere una via di fuga in più

Answer 4

Il trucco è che è in realtà '\\u003D' 6 caratteri mentre si vuole '\u003D' che è solo un carattere. L'ulteriore trucco è che corrispondano a quelli backslash è necessario utilizzare backslash doppiamente sfuggiti nel modello:

gsub("\\\\u003D\\\\u003E", "\u003D\u003E", x) 
#[1] "pretty=>big" 

Per sostituire più personaggi con un carattere è necessario indirizzare l'intero modello. Non puoi semplicemente cancellare una barra rovesciata. (Dal momento che hai indicato che questo è un problema più generale, la risposta potrebbe risiedere in modifiche al tuo metodo ancora non descritto per scaricare questo testo.)

Quando carico le tue funzioni e le dipendenze, questo codice funziona:

> freq <- ngram(c('pretty\u003D\u003Ebig'), year_start = 1950) 
> 
> str(freq) 
'data.frame': 59 obs. of 4 variables: 
$ Year  : num 1950 1951 1952 1953 1954 ... 
$ Phrase : Factor w/ 1 level "pretty=>big": 1 1 1 1 1 1 1 1 1 1 ... 
$ Frequency: num 1.52e-10 6.03e-10 5.98e-10 8.27e-10 8.13e-10 ... 
$ Corpus : Factor w/ 1 level "eng_2012": 1 1 1 1 1 1 1 1 1 1 ... 

(quindi credo che io non sono ancora chiare sul caso d'uso.)

Answer 5

un uso per eval(parse)!

Questo ha naturalmente i suoi problemi, come dover sfuggire manualmente qualsiasi virgoletta all'interno della stringa. Ma dovrebbe funzionare per tutte le sequenze Unicode valide che possono apparire.

Answer 6

Anche se ho accettato la risposta di Hong ooi, non posso fare a meno di pensare a parse e eval è una soluzione pesante. Inoltre, come sottolineato, non è sicuro, anche se per la mia applicazione posso essere sicuro che non otterrò virgolette pericolose.

Così, ho messo a punto un'alternativa, un po 'brutale, approccio:

udecode <- function(string){ 
    uconv <- function(chars) intToUtf8(strtoi(chars, 16L)) 
    ufilter <- function(string) { 
    if (substr(string, 1, 1)=="|") uconv(substr(string, 2, 5)) else string 
    } 
    string <- gsub("\\\\u([[:xdigit:]]{4})", ",|\\1,", string, perl=TRUE) 
    strings <- unlist(strsplit(string, ",")) 
    string <- paste(sapply(strings, ufilter), collapse='') 
    return(string) 
} 

eventuali semplificazioni accolto con favore!

Answer 7

Con il pacchetto stringi:

> x <- 'pretty\\u003D\\u003Ebig' 
> stringi::stri_unescape_unicode(x) 
[1] "pretty=>big"