Come rilevare i problemi con CPU alta e tempi di risposta lunghi con Asp.NET Web Api

Question

Stiamo utilizzando Asp.Net WebApi su 3 server dietro HAProxy. HAProxy distribuisce semplicemente casualmente richieste tra queste 3 istanze.

Queste istanze si collegano a mongodb, redis e alcuni servizi di Windows.

Normalmente, w3wp.exe utilizza circa% 30 cpu su ciascun server API.

Di tanto in tanto (alcune volte in un'ora) uno dei server API decide di utilizzare quantità elevate di CPU. In correlazione con questo comportamento, iniziamo a vedere un aumento dei tempi di risposta. I numeri continuano a crescere finché HAProxy non vede i tempi di risposta di 10000 ms e decide di instradare le richieste ad altri due server. Tutti questi si verificano in 10-20 secondi. Dopo un po ', questo server torna allo stato normale e ricomincia a rispondere alle richieste. Dopo pochi minuti, un altro server fa esattamente la stessa cosa. Questo continua ad andare avanti.

Si sta utilizzando New Relic ma poiché l'applicazione è un'applicazione WebApi, non vengono fornite informazioni utili. Monitoriamo tutti i nostri server (servizi redis, mongo e windows) per l'utilizzo della cpu, l'utilizzo della memoria, il traffico di rete e l'I/O, ma non vediamo alcun carico significativo durante le interruzioni sopracitate.

Come possiamo rilevare la causa di questo comportamento dell'applicazione?

Answer 1

Una buona opzione sarebbe quella di fare un mini-dump usando qualcosa come Process Explorer e quindi ispezionarlo con WinDBG o in altro modo, per vedere cosa stanno facendo i thread e così via. Ho un buon post sul blog su come farlo qui:

http://www.haneycodes.net/but-it-didnt-happen-in-dev-or-qa/

Answer 2

Come DavidH ha detto, ottenendo un dump della memoria è un passo molto importante. Se vuoi, posso offrire aiuto per leggere la discarica.

Un'altra utile troppo è Analyzer CPU che è gratuito: http://samsaffron.com/archive/2009/11/11/Diagnosing+runaway+CPU+in+a+Net+production+application

Un'altra opzione è quella di utilizzare PerfView.

Un'altra opzione è utilizzare JetBrains dotTrace e collegarsi al processo w3wp.exe.

Answer 3

Una cosa condivisa tra .NET e Java EE è il garbage collector. Quindi, se l'applicazione utilizza grandi quantità di memoria, i periodi di elevata CPU potrebbero essere il garbage collector in arrivo. Ho avuto questo problema con .NET 3.5 IIS 7 che esegue un'applicazione che viene costantemente utilizzata su un gigabyte per processo. Il Garbage Collector interrompe praticamente tutto mentre recupera memoria per la tua applicazione. Puoi modificare il garbage collector e persino chiamarlo dal tuo codice quando ha senso. Ci sono molte piccole strategie che puoi usare. Un altro problema verrà fuori con il GC se si stanno facendo molte e molte cose con le stringhe. Ad esempio, si stanno analizzando stringhe di caratteri provenienti da un servizio Web riposante. Ciò causa molta frammentazione della memoria e può far sì che il GC impieghi molto più tempo e la CPU recuperi la memoria.

È facile vedere questo evento se questo è davvero ciò che sta accadendo. È possibile utilizzare il Task Manager per controllare l'utilizzo della memoria e la CPU del processo. Guarda la memoria utilizzata quando la CPU si alza e dopo che si abbassa di nuovo.