Come si legge un file gzip riga per riga?

Question

Ho un file gzip e attualmente ho letto in questo modo:

infile = open("file.log.gz") 
gz = Zlib::GzipReader.new(infile) 
output = gz.read 
puts result 

penso che questo converte il file in una stringa, ma vorrei leggerlo riga per riga.

Quello che voglio ottenere è che il file ha alcuni messaggi di avviso con un po 'di spazzatura, voglio grep quei messaggi di avviso e poi scriverli in un altro file. Ma alcuni messaggi di avvertimento vengono ripetuti, quindi devo assicurarmi che li annulli solo una volta. Quindi la lettura riga per riga mi aiuterebbe.

Answer 1

si dovrebbe essere in grado di semplicemente ciclo sul lettore gzip come si fa con i flussi regolari (according to the docs)

infile = open("file.log.gz") 
gz = Zlib::GzipReader.new(infile) 
gz.each_line do |line| 
    puts line 
end 

Answer 2

Prova questo:

infile = open("file.log.gz") 
gz = Zlib::GzipReader.new(infile) 
while output = gz.gets 
    puts output 
end 

Answer 3

altre risposte mostrano come leggere il file riga per linea, ma non come solo per catturare gli errori una volta. Sulla @ risposta di Tigraine:

require 'set' 

infile = open("file.log.gz") 
gz = Zlib::GzipReader.new(infile) 

errors = Set.new 
# or ... 
# errors = [].to_set 

gz.each_line do |line| 
    errors << line if (line[/^Error:/]) 
    # or ... 
    # errors << line if (line['Error:']) 
end 

puts errors 

Set agisce come Array, ma è costruito utilizzando Hash, quindi è come un Hash ma siamo solo interessati con i tasti, cioè solo i valori univoci vengono memorizzati. Se provi ad aggiungere duplicati, questi verranno buttati via, lasciandoti solo i valori unici. Potresti usare una matrice, e poi usare uniq, ma un Set la gestirà in anticipo.

>> require 'set' 
=> true 
>> errors = Set.new 
=> #<Set: {}> 
>> errors << 'a' 
=> #<Set: {"a"}> 
>> errors << 'b' 
=> #<Set: {"a", "b"}> 
>> errors << 'a' 
=> #<Set: {"a", "b"}>