Escludere bot e spider da un contatore View in PHP

Question

Ho creato un gestore di pubblicità piuttosto semplice per un sito Web in PHP.

Dico di base perché non è complesso come gli annunci di Google o Facebook o anche la maggior parte degli ad server di fascia alta. Non gestisce pagamenti o altro o persino indirizza gli utenti.

Serve allo scopo per il mio sito a basso traffico se semplicemente per mostrare un banner pubblicitario casuale, conteggiare visualizzazioni di impressioni e clic.

Caratteristiche:

• annuncio di slot/posizione a pagina
immagine
• Banner
• Nome
• contatore Vista/impressione
• Clicca contatore
• di inizio e di fine, o senza fine
• Disabilita/abilita annuncio

Tuttavia, desidero aggiungere gradualmente più funzionalità al sistema.

Una cosa che ho notato è che il contatore di Impressioni/visualizzazioni sembra spesso gonfiato.

Credo che la causa di questo è da ragni e robot di reti sociali così come spider dei motori di ricerca.

Ad esempio, se qualcuno immette un URL da una pagina del mio sito Web in Facebook, Google+, Twitter, LinkedIn, Pinterest e altre reti, tali siti spesso spideranno il mio sito per raccogliere le pagine Web Titolo, immagini e descrizione .

Mi piacerebbe molto essere in grado di disabilitare questo conteggio come impressioni pubblicitarie/conteggi delle visualizzazioni quando un vero essere umano non sta visualizzando la pagina.

Mi rendo conto che sarà molto difficile rilevarli tutti, ma se c'è un modo per ottenerne la maggioranza, almeno renderà le mie statistiche un po 'più accurate.

Quindi sto cercando aiuto o idee su come raggiungere il mio obiettivo? Si prega di non dire ad utilizzare un altro sistema di pubblicità, che non è nelle carte, grazie

Answer 1

È necessario pubblicare gli annunci con JavaScript. Questo è l'unico modo per evitare la maggior parte dei crawler. Solo i browser caricano dipendenze come immagini, JS e CSS. Il 99% dei robot li evita.

Si può anche fare questo:

// basic crawler detection and block script (no legit browser should match this) 
if(!empty($_SERVER['HTTP_USER_AGENT']) and preg_match('~(bot|crawl)~i', $_SERVER['HTTP_USER_AGENT'])){ 
    // this is a crawler and you should not show ads here 
} 

Avrai molto migliori statistiche in questo modo. Usa JS per gli annunci.

PS: Si potrebbe anche provare a impostare un cookie nel JS e successivamente la verifica per esso. I crawler potrebbero ricevere i cookie inviati in PHP da HTTP, ma quelli impostati in JS, con il 99,9% di possibilità che si perdano. Perché hanno bisogno di caricare un file JS e interpretarlo. Questo è fatto solo dai browser.

Answer 2

Si potrebbe fare qualcosa di simile: C'è una buona lista dei cingoli in formato testo qui: http://www.robotstxt.org/db/all.txt

supporre che hai raccolto tutti gli agenti utente in quel file in un array chiamato $botList

$ua = isset($_SERVER['HTTP_USER_AGENT']) ? strtolower($_SERVER['HTTP_USER_AGENT']) : NULL; 

if($ua && in_array($ua, $botList)) { 
    // this is probably a bot 
} 

Naturalmente, l'agente utente facilmente può essere cambiamento d o potrebbe mancare a volte, ma i motori di ricerca come Google e Yahoo sono onesti su se stessi.

Answer 3

Un crawler scaricherà robots.txt, anche se non lo rispetta e lo fa per curiosità. Questa è una buona indicazione che potresti avere a che fare con una, anche se non è definita.

È possibile rilevare un crawler se visita un numero enorme di collegamenti in un tempo molto breve. Questo può essere piuttosto complicato da fare nel codice però.

Ma questo è possibile solo se non si desidera o non è possibile eseguire Javascript. Altrimenti vai con la risposta di CodeAngry.

---

Edit: In risposta a @ di Keune risposta, si potrebbe tenere tutte gli IP di visitatori e farli passare attraverso la lista in un job cron, quindi pubblicare il conteggio dei visitatori aggiornato.

Answer 4

Prova questa:

if (preg_match("/^(Mozilla|Opera|PSP|Bunjalloo|wii)/i", $_SERVER['HTTP_USER_AGENT']) && !preg_match("/bot|crawl|crawler|slurp|spider|link|checker|script|robot|discovery|preview/i", $_SERVER['HTTP_USER_AGENT'])) { 
    It's not a bot 
} else { 
    It's a bot 
}