Rilevamento in tempo reale dei picchi di frequenza degli eventi

Question

In un'applicazione Web, ottengo un trigger ogni volta che si verifica un evento. Voglio rilevare picchi di frequenza "violenti", che probabilmente si traducono in comportamenti anormali.

Mi vengono in mente due modi ingenui il conseguimento di tale:

• soglia fissa - "Se più di 500 eventi si verificano all'interno di un minuto, sth probabilmente è sbagliato". Questo metodo non può gestire violazioni di soglia uniformi o traffico in costante aumento, a meno che l'applicazione non possa regolare la soglia periodicamente.

• euristico relativo alla finestra - Dividere la finestra in N intervalli uguali (?). Mentre N> 0, calcola la frequenza degli eventi avvenuti in [now- (N * interval_length), ora]. Salvalo in un elenco. Diminuire N di 1. Ripetere. Rileva i valori anomali dell'elenco. Se c'è un valore erratico più grande della frequenza media di [ormai window_length, ora], sth è probabilmente sbagliato."

mi piacerebbe sapere se v'è invece una soluzione comune/standard per questo problema o . se si può pensare a qualcosa di più efficiente o elegante

Grazie in anticipo

EDIT -. Un altro suggerimento

Un mio amico ha suggerito il rilevamento di comportamento aberrante con Holt-Winters previsione. Potete trovare ulteriori informazioni su questa metodologia nel link qui sotto:

http://www.hpl.hp.com/news/events/csc/2005/jake_slides.pdf

http://www.usenix.org/events/lisa00/full_papers/brutlag/brutlag_html/

Answer 1

Io non sono un esperto. Cosa farei:

Diciamo che mantieni solo gli ultimi risultati n e x_n è l'ultimo esempio (differenza di tempo rispetto all'evento precedente).

α_n x_n + α_{n-1}/2 x_{n-1} + ... + α_{1} 2^{-n} x_1 = T 

Se la differenza T - T_{previous}, dove T_{previous} è il valore precedente di T, superare un limite, fare qualcosa.

Se i valori di x_i sono binari, è possibile bei trucchi con shift e or operazioni, se la velocità è una questione.

Answer 2

solo ottenere una semplice media sui valori delle ultime X minuti (mantenere i valori)

confronta ciascun nuovo valore in ingresso alla media:

• se la differenza è superiore Y% quindi il suo un outlier, allerta.
• Se inferiore, aggiungere questo alla media e rimuovere il primo, stile fifo.

Se pensi che possa essere ingannato con "traffico in costante aumento", rendi X sufficientemente grande.

Answer 3

È possibile calcolare uno stimatore di media mobile con ponderazione esponenziale e confrontarlo con il suo valore precedente. Un aumento improvviso è probabilmente quello che stai cercando di rilevare, ma combinato con una certa soglia minima (quindi, ad esempio, da 0 a 1 non è significativo).

Ma diciamo che l'attuale media mobile salta da 100 a 200, che probabilmente è il tipo di eventi che si desidera rilevare.