2010-09-21 10 views

risposta

3

Potreste essere interessati al documento scientifico pubblicato di recente sulla ZooKeeper:

http://research.yahoo.com/node/3280

Il documento descrive inoltre tre casi d'uso e progetti analoghi.

Usiamo ZK come dipendenza di HBase e abbiamo implementato una coda di lavoro pianificata per un lettore di feed (milioni di feed) con esso.

7

Ho appena iniziato la ricerca per l'utilizzo di Zookeeper per un numero di casi nell'infrastruttura aziendale.

Quello che sembra adattarsi ZK il migliore è dove abbiamo una serie di oltre 30 server di contenuti dinamici che si basano molto sul caching basato su file (Memcached è troppo lento). Ognuno di questi server avrà un agente che guarda un percorso ZK specifico e quando un nuovo nodo si presenta, tutti i server si uniscono in un blocco barriera, quindi una volta che tutti sono presenti, tutti aggiornano la loro configurazione allo stesso tempo. In questo modo possiamo mantenere tutti i 30 server di configurazione/stati di esecuzione coerenti.

Secondo caso d'uso, riceviamo 45-70 milioni di pagine viste al giorno in un tipico schema a campana. La strategia di caching implementata cade dal client, alla CDN, a memcache e quindi alla cache dei file prima di determinare quando effettuare una chiamata DB. Anche con una serie di serrature sul posto, è piuttosto tipico ottenere condizioni di gara (li ho soprannominati "Stampede") che possono filtrare il nostro back-end. La speranza è che ZK possa fornire uno strumento per lo sviluppo di un servizio di blocco coerente e unificato su più server e forse data center.