Come evitare l'inquinamento della cache durante il caricamento di un flusso di numeri

Question

Sui processori x86 esiste un modo per caricare i dati dalla normale memoria di scrittura nei registri senza passare attraverso la gerarchia della cache?

Il mio caso d'uso è che ho una struttura di grande ingrandimento (Hash map o B-Tree). Sto lavorando su un grande flusso di numeri (molto più grande del mio L3 ma adatto alla memoria). Quello che sto cercando di fare è molto semplice:

int result = 0; 
for (num : stream_numbers) { 
    int lookup_result = lookup_using_b_tree(num); 
    result += do_some_math_that_touches_registers_only(lookup_result); 
} 
return result; 

Dato che io sto visitando ogni numero una sola volta e la somma di tutti i numeri è più che la dimensione L3 Immagino che finiranno per sfrattare alcune linee di cache che contengono parti del mio albero B. Preferirei invece non avere alcun numero da questa cache di esecuzione del flusso poiché non hanno alcuna localizzazione temporale (solo letti una volta). In questo modo posso massimizzare le possibilità che il mio albero B rimanga nella cache e le ricerche siano più veloci.

Ho esaminato le istruzioni (v)movntdqa disponibili in SSE 4.1 per i carichi temporali. Non sembra essere una buona idea, perché sembra funzionare solo per la scrittura non combinabile che combina la memoria. Questo antico article da Intel sostiene che:

Le future generazioni di processori Intel possono contenere ottimizzazioni e miglioramenti per carichi di streaming, come ad esempio un maggiore utilizzo dei buffer di carico di streaming e il supporto per i tipi di memoria aggiuntive, creando ancora più opportunità per il software sviluppatori per aumentare le prestazioni e l'efficienza energetica delle loro applicazioni.

Tuttavia, non sono a conoscenza di alcun processore di oggi. Ho letto elsewhere che un processore può semplicemente scegliere di ignorare questo suggerimento per la memoria di scrittura e utilizzare invece uno movdqa. Quindi c'è un modo per ottenere carichi dalla normale memoria di scrittura senza passare attraverso la gerarchia della cache sui processori x86, anche se è possibile solo su Haswell e sui modelli successivi? Gradirei anche qualche informazione su se questo sarà possibile in futuro?

Answer 1

Sì, è possibile utilizzare MOVNTI per memorizzare i valori direttamente in memoria senza che questi tocchino la cache.

La latenza di un MOVNTI è di circa 400 cicli (su Skylake).
Tuttavia, se si memorizzano solo i valori, si preoccupa poco della latenza e molto di più sul rendimento reciproco, che è 1 ciclo per MOVNTI.

Nota che è necessario eseguire un SFENCE o un MFENCE dopo aver finito con i negozi.

Secondo la mia sperimentazione con MOVNTI (nel contesto di una routine ZeroMem) vale la pena se si scrivono più di 512 KB.
I valori esatti dipenderanno essenzialmente dalla dimensione della cache ecc

La non-temporalness si applica solo ai scrive, non legge!
In effetti non conosco alcuna variante di NT-mov che funzioni in modo non temporale durante la lettura dei dati.

Tuttavia, se si sta eseguendo un ciclo di lettura-modifica-scrittura, ha poco senso utilizzare le mosse non temporali.
È inoltre necessario prendere in considerazione la località della struttura del nodo.
E 'probabile che si presenta così:

left, right: pointer_to_node (8 bytes aligned on 32 byte boundary). 
data: integer;    (4 bytes) 
.... 

Se è così voi leggendo il puntatore del nodo left/right succhierà il data lungo all'interno nella linea di cache di 32 byte (*).
Solo fare un NT-mov sui dati non aiuta qui, è già stato risucchiato durante la lettura degli altri dati del nodo e quindi è già nella cache.

Il fatto che i compilatori allineano la struttura dei dati sui limiti di cache friendly assicura che la quantità massima di dati del nodo venga aspirata nella cache con ogni accesso al puntatore del nodo.

(*) La dimensione della linea della cache dipende dal processore.