Dipende da quanta memoria avete e anche la vostra configurazione/ASP.Net IIS.
Verificare la sezione Caching Explained in questo articolo MSDN. È vecchio, ma spiega alcune delle linee guida.
La cache di ASP.NET inizia a ridurre la cache basata su un algoritmo LRU e il valore CacheItemPriority elencate assegnato all'elemento dopo il consumo di memoria è meno di 20 per cento del limite di memoria configurata. Se il limite di memoria è impostato su un valore troppo alto, è possibile che il processo venga riciclato in modo imprevisto. L'applicazione potrebbe inoltre presentare eccezioni esaurite. Se il limite di memoria è impostato su un valore troppo basso, potrebbe aumentare la quantità di tempo impiegato per eseguire le garbage collection, riducendo così le prestazioni complessive.
Questo post forum è anche molto istruttiva ...
http://forums.asp.net/p/962451/1199949.aspx