modo veloce per leggere da StringIO fino a quando non si incontra qualche byte

Question

Supponiamo di avere un po 'di StringIO (da cStringIO). Voglio leggere tampone da esso fino a quando si incontra un po 'di carattere/byte, dire 'Z', quindi:

stringio = StringIO('ABCZ123') 
buf = read_until(stringio, 'Z') # buf is now 'ABCZ' 
# strinio.tell() is now 4, pointing after 'Z' 

Qual è modo più veloce per fare questo in Python? Grazie

Answer 1

ho molto deluso che la questione ottenere una sola risposta in caso di overflow dello stack, perché è domanda interessante e pertinente. In ogni caso, dal momento che solo ovgolovin dare soluzione ed ho pensata forse è lento, ho pensato che una soluzione più veloce:

def foo(stringio): 
    datalist = [] 
    while True: 
     chunk = stringio.read(256) 
     i = chunk.find('Z') 
     if i == -1: 
      datalist.append(chunk) 
     else: 
      datalist.append(chunk[:i+1]) 
      break 
     if len(chunk) < 256: 
      break 
    return ''.join(datalist) 

Questo io letta in blocchi (forse finire char non trovato nel primo blocco). È molto veloce perché nessuna funzione Python ha chiamato per ogni carattere, ma al contrario uso massimo delle funzioni Python scritte in C.

Questa corsa circa 60 volte più veloce della soluzione di ovgolovin. Ho eseguito timeit per controllarlo.

Answer 2

i = iter(lambda: stringio.read(1),'Z') 
buf = ''.join(i) + 'Z' 

Qui iter è utilizzato in questo modo: iter(callable, sentinel) -> iterator.

''.join(...) è abbastanza efficace. L'ultima operazione di aggiunta di "Z" ''.join(i) + 'Z' non è buona. Ma può essere affrontato con l'aggiunta 'Z' al iteratore:

from itertools import chain, repeat 

stringio = StringIO.StringIO('ABCZ123') 
i = iter(lambda: stringio.read(1),'Z') 
i = chain(i,repeat('Z',1)) 
buf = ''.join(i) 

Un altro modo per farlo è quello di utilizzare generatore:

def take_until_included(stringio): 
    while True: 
     s = stringio.read(1) 
     yield s 
     if s=='Z': 
      return 

i = take_until_included(stringio) 
buf = ''.join(i) 

---

ho fatto alcuni test di efficienza. Le prestazioni delle tecniche descritte è piuttosto la stessa:

http://ideone.com/dQGe5