Come aggiungere un elemento a un elenco memcached atomicamente (in Python)

Question

Ecco il mio semplice codice Python memcached di seguito:

import memcache 
memcache_client = memcache.Client(['127.0.0.1:11211'], debug=True) 
key = "myList" 
obj = ["A", "B", "C"] 
memcache_client.set(key, obj) 

Ora, supponiamo che io voglio per aggiungere un elemento "D" alla lista memorizzato nella cache come myList come posso farlo atomicamente?

So che questo è sbagliato, perché non è atomica:

memcache_client.set(key, memcache_client.get(key) + ["D"]) 

La dichiarazione di cui sopra contiene una condizione di competizione. Se un altro thread esegue questa stessa istruzione nel momento esatto in cui uno degli aggiornamenti si bloccherà.

Come posso risolvere questa condizione di gara? Come posso aggiornare un elenco o un dizionario memorizzato in memcached atomicamente?

Answer 1

Ecco la funzione corrispondente API client pitone

https://cloud.google.com/appengine/docs/python/memcache/clientclass#Client_cas

Anche qui un nice tutorial da Guido van Rossum. Spero che avrebbe fatto meglio a spiegare roba pitone di me;)

Ecco come il codice dovrebbe essere simile nel tuo caso:

memcache_client = memcache.Client(['127.0.0.1:11211'], debug=True) 
key = "myList" 
while True: # Retry loop, probably it should be limited to some reasonable retries 
    obj = memcache_client.gets(key) 
    assert obj is not None, 'Uninitialized object' 
    if memcache_client.cas(key, obj + ["D"]): 
    break 

L'intero flusso di lavoro rimane la stessa: prima si recupera un valore (w/un po ' informazioni interne associate a una chiave), quindi modificare il valore recuperato, quindi tentare di aggiornarlo nella memcache. L'unica differenza è che il valore (in realtà, coppia chiave/valore) viene verificato che non è stato modificato simultaneamente da un processo parallelo. In quest'ultimo caso la chiamata fallisce e si dovrebbe riprovare il flusso di lavoro dall'inizio. Inoltre, se si dispone di un'applicazione multi-thread, allora ogni istanza di memcache_client dovrebbe essere thread-local.

Inoltre, non dimenticare che esistono metodi incr() e decr() per semplici contatori interi che sono "atomici" per loro natura.

Answer 2

Se non si desidera ricevere una condizione di competizione, è necessario utilizzare Blocca primitiva dal modulo di threading. Per esempio

lock = threading.Lock() 

def thread_func(): 
    obj = get_obj() 
    lock.acquire() 
    memcache_client.set(key, obj) 
    lock.release()