Ottenere molte richieste con User Agent [Mozilla/5.0]

Question

Quando arriva una richiesta al mio servlet Java Sto controllando il suo AgenteUtente:

protected void service(HttpServletRequest request, HttpServletResponse response){ 
    final String UA = request.getHeader("User-Agent"); 
    eu.bitwalker.useragentutils.Browser browser = UserAgent.parseUserAgentString(UA).getBrowser();} 

maggior parte delle richieste ha UA (User Agent) con le informazioni in esso, per esempio Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36.
Alcune richieste (circa il 10%) hanno solo Mozilla/5.0 o Mozilla/4.0.

Significa che si tratta di bot?
È possibile che qualcosa prima che il servlet rimuova la parte rilevante nell'UA?

Sto usando HaraldWalker User Agent Utils per identificare l'UA e restituisce Mozilla per quelle UA.
Ma questo online tool restituisce unknown.

Qualcuno può spiegare?

Answer 1

Sembra molto probabile che si tratti di una sorta di bot, in quanto tale agente utente non è utilizzato da alcun browser mainstream.

Varrà la pena filtrare i log per estrarre solo queste voci e verificare se stanno seguendo una sorta di modello ovvio di tipo bot. Per esempio, è possibile vedere:

• Una richiesta ogni X secondi esattamente
• Che tutti capita in un momento specifico della giornata
• Che tutti avvengono all'interno di un brevissimo periodo di tempo
• Quello Richiedono URL in ordine alfabetico
• Tutte le richieste provengono da un singolo indirizzo IP o gamma limitata di IP