In che modo un'app su EC2 individua automaticamente le istanze di ElastiCache?

Question

Suppongo di avere una webapp in esecuzione su un certo numero di server EC2 con carico bilanciato, che memorizzano e recuperano metadati da SimpleDB con blocchi di dati più grandi memorizzati su S3 (a causa dell'intera limitazione di 1 KB di SimpleDB). Dato che S3 ha una latenza piuttosto elevata e non voglio fare un sacco di richieste laggiù, voglio un livello di cache per le informazioni ... inserisci ElastiCache.

Ok, quindi eseguo il provisioning di un server ElastiCache con endpoint X, quindi eseguo l'hardcode X nella mia app su EC2 e funziona felicemente fino a quando ottengo qualche centinaio di nuovi utenti e all'improvviso il mio server cache è tristemente sottodimensionato per la domanda . Fortunatamente posso solo avviare alcuni nuovi server cache più grandi ... ma poi mi rendo conto di avere endpoint X, Y e Z e la mia app sa solo provare X, quindi ho ancora un problema.

Quindi adesso sto solo cercando di mettere la mia testa intorno ai vari pezzi di questo puzzle, e non ho ancora ottenuto la parte di codifica, ma non sarà un problema? Ho letto la documentazione di ElastiCache e menziona che si tratta di un cluster di cache, ma ogni server nel cluster sembra avere un proprio endpoint. Esiste un modo per un'app in esecuzione su EC2 per conoscere tutti i server cache in esecuzione e più al punto in cui si contengono i dati per una particolare chiave? È possibile chiedere al cluster nel suo insieme di archiviare o recuperare un'informazione?

Answer 1

Oggi Aws ha annunciato la scoperta della cache. Il tuo problema è risolto http://aws.typepad.com/aws/2012/11/amazon-elasticache-now-with-auto-discovery.html.

Answer 2

Se l'app è distribuita da versioncontrol (spero lo sia), basta modificare il file di configurazione e ridistribuire l'applicazione. Non vedo un grosso problema con questo approccio, ma forse mi manca l'ovvio.

Fammi sapere.

Answer 3

Amazon's Elasticache Autodiscovery è assolutamente orribile. È praticamente impossibile da installare, il che è pazzesco perché dovrebbe essere molto semplice.

Ho scritto una semplice funzione in PHP per generare un URL del nodo elasticache in base al numero di nodi in esecuzione. Sì, devi aggiornare il tuo codice se cambi il numero di nodi (o forse metti questo valore in un env var).

Esso mappa gli stessi tasti per gli stessi nodi:

function get_elasticache_node_url($key, $config_url, $num_nodes) { 
    $node = hexdec(substr(md5($key), 0, 15)) % $num_nodes + 1; 
    $nodestr = str_pad($node, 4, "0", STR_PAD_LEFT); 
    return str_replace('.cfg.','.'.$nodestr.'.',$config_url); 
} 

$num_nodes = 10; 
$config_url = 'cluster-name.xyzxyz.cfg.use1.cache.amazonaws.com'; 

echo get_elasticache_node_url("key1", $config_url, $num_nodes); 
echo get_elasticache_node_url("key2", $config_url, $num_nodes); 

uscita:

cluster-name.xyzxyz.0001.use1.cache.amazonaws.com 
cluster-name.xyzxyz.0004.use1.cache.amazonaws.com