Utilizzo di hashlib per calcolare il digest md5 di un file in Python 3

Question

Con python 2.7 il codice seguente calcola l'esadecimale mD5 del contenuto di un file.

(MODIFICA: beh, non proprio come hanno dimostrato le risposte, l'ho solo pensato).

import hashlib 

def md5sum(filename): 
    f = open(filename, mode='rb') 
    d = hashlib.md5() 
    for buf in f.read(128): 
     d.update(buf) 
    return d.hexdigest() 

Ora, se corro che il codice usando python3 si solleva un'eccezione TypeError:

d.update(buf) 
TypeError: object supporting the buffer API required 

ho capito che avrei potuto fare che eseguire codice con entrambe python2 e python3 cambiarlo con:

def md5sum(filename): 
    f = open(filename, mode='r') 
    d = hashlib.md5() 
    for buf in f.read(128): 
     d.update(buf.encode()) 
    return d.hexdigest() 

Ora mi chiedo ancora perché il codice originale ha smesso di funzionare. Sembra che aprendo un file usando il modificatore della modalità binaria restituisca interi invece di stringhe codificate come byte (lo dico perché type (buf) restituisce int). Questo comportamento è spiegato da qualche parte?

Answer 1

Penso che si voleva il ciclo for per effettuare chiamate successive alla f.read(128). Ciò può essere fatto utilizzando iter() e functools.partial():

import hashlib 
from functools import partial 

def md5sum(filename): 
    with open(filename, mode='rb') as f: 
     d = hashlib.md5() 
     for buf in iter(partial(f.read, 128), b''): 
      d.update(buf) 
    return d.hexdigest() 

print(md5sum('utils.py')) 

Answer 2

for buf in f.read(128): 
    d.update(buf) 

.. aggiorna l'hash sequenza con ciascuno dei primi 128 byte valori del file. Poiché l'iterazione su uno bytes produce oggetti int, si ottengono le seguenti chiamate che causano l'errore che si è verificato in Python3.

d.update(97) 
d.update(98) 
d.update(99) 
d.update(100) 

che non è quello che vuoi.

Invece, si vuole:

def md5sum(filename): 
    with open(filename, mode='rb') as f: 
    d = hashlib.md5() 
    while True: 
     buf = f.read(4096) # 128 is smaller than the typical filesystem block 
     if not buf: 
     break 
     d.update(buf) 
    return d.hexdigest() 

Answer 3

fine ho cambiato il mio codice per la versione di sotto (che trovo facile da capire) dopo aver chiesto la questione. Ma probabilmente lo cambierò nella versione suggerita da Raymond Hetting unsing functools.partial.

import hashlib 

def chunks(filename, chunksize): 
    f = open(filename, mode='rb') 
    buf = "Let's go" 
    while len(buf): 
     buf = f.read(chunksize) 
     yield buf 

def md5sum(filename): 
    d = hashlib.md5() 
    for buf in chunks(filename, 128): 
     d.update(buf) 
    return d.hexdigest()