Generatori di profili Python

Question

Sto adattando un'applicazione che fa un uso massiccio di generatori per produrre i suoi risultati per fornire un'interfaccia web web.py.

Finora, ho potuto racchiudere la chiamata al ciclo for e le istruzioni di produzione in uscita in una funzione e chiamarla utilizzando cProfile.run() o runctx(). Concettualmente:

def output(): 
    for value in generator(): 
     print(value) 

cProfile.run('output()') 

In web.py, devo avvolgerla seguente modo, poiché voglio produrre immediatamente uscita dal calcolo potenzialmente esecuzione prolungata in ogni iterazione passaggio utilizzando yield:

class index: 
    def GET(self): 
     for value in generator(): 
      yield make_pretty_html(value) 

C'è un modo per profilare tutte le chiamate al generatore come nel primo esempio quando è usato come nel secondo?

Answer 1

ho finalmente trovato una soluzione. Restituire il valore della profilazione tramite here.

import cProfile 
import pstats 
import glob 
import math 

def gen(): 
    for i in range(1, 10): 
     yield math.factorial(i) 

class index(object): 
    def GET(self): 
     p = cProfile.Profile() 

     it = gen() 
     while True: 
      try: 
       nxt = p.runcall(next, it) 
      except StopIteration: 
       break 
      print nxt 

     p.print_stats() 

index().GET() 

Ho anche potuto unire più tali risultati profiling (una volta che iniziare a dare i nomi di file unici) tramite documentation e memorizzare/analizzarli combinato.

Answer 2

Puoi semplicemente usare time.time() per profilare le parti che ti interessano? Ottieni l'ora corrente e sottrai dall'ultima volta che hai effettuato una misurazione.

Answer 3

Sembra che tu stia provando a profilare ogni chiamata a "prossimo" sul generatore? Se è così, potresti avvolgere il tuo generatore in un generatore di profili. Qualcosa del genere, in cui la parte commentata invia i risultati a un registro o database.

 
def iter_profiler(itr): 
    itr = iter(itr) 
    while True: 
    try: 
     start = time.time() 
     value = itr.next() 
     end = time.time() 
    except StopIteration: 
     break 
    # do something with (end - stop) times here 
    yield value 
 

Allora, invece di istanziare vostro generatore come generator() usereste iter_profiler(generator())