Memorizza la cache in un file functools.lru_cache in Python> = 3.2

Question

Sto usando @functools.lru_cache in Python 3.3. Vorrei salvare la cache in un file, per ripristinarlo quando il programma verrà riavviato. Come potrei fare?

Modifica 1 Possibile soluzione: We need to pickle any sort of callable

Problema decapaggio __closure__:

_pickle.PicklingError: Can't pickle <class 'cell'>: attribute lookup builtins.cell failed 

Se provo a ripristinare la funzione senza di esso, ottengo:

TypeError: arg 5 (closure) must be tuple 

Answer 1

Non è possibile eseguire ciò che si desidera utilizzando lru_cache, poiché non fornisce un'API per accedere alla cache e potrebbe essere riscritta in C nelle versioni future. Se vuoi veramente salvare la cache devi usare una soluzione diversa che ti dà accesso alla cache.

È abbastanza semplice scrivere una cache da soli. Per esempio:

from functools import wraps 

def cached(func): 
    @wraps(func) 
    def wrapper(*args): 
     try: 
      return func.cache[args] 
     except KeyError: 
      func.cache[args] = result = func(*args) 
      return result 
    wrapper.cache = {} 
    return wrapper 

si può quindi applicare come decoratore:

>>> @cached 
... def fibonacci(n): 
...  if n < 2: 
...    return n 
...  return fibonacci(n-1) + fibonacci(n-2) 
... 
>>> fibonacci(100) 
354224848179261915075L 

e recuperare il cache:

>>> fibonacci.cache 
{(32,): 2178309, (23,): 28657, ... } 

È quindi possibile salamoia/deserializzazione cache come ti pare e caricarlo con:

fibonacci.cache = pickle.load(cache_file_object) 

---

Ho trovato un feature request nel tracker dei problemi di Python per aggiungere dump/carichi a lru_cache, ma non è stato accettato/implementato. Forse in futuro sarà possibile avere il supporto integrato per queste operazioni tramite lru_cache.

Answer 2

Non sei dovrebbe toccare qualsiasi cosa all'interno dell'implementazione del decoratore tranne che per l'API pubblica, quindi se tu vuoi cambiare il suo comportamento probabilmente hai bisogno di copiare la sua implementazione e aggiungere le funzioni necessarie tu stesso. Si noti che la cache è attualmente memorizzata come lista circolare doppiamente collegata, quindi è necessario fare attenzione quando si salva e si carica.

Answer 3

Considerare l'utilizzo di joblib.Memory per la cache persistente sul disco.

Poiché il disco è enorme, non è necessario uno schema di cache LRU.

Answer 4

È possibile utilizzare una libreria di mio, mezmorize

import random 
from mezmorize import Cache 

cache = Cache(CACHE_TYPE='filesystem', CACHE_DIR='cache') 


@cache.memoize() 
def add(a, b): 
    return a + b + random.randrange(0, 1000) 

>>> add(2, 5) 
727 
>>> add(2, 5) 
727