Bingbot colpirà il mio sito abbastanza duramente per un paio d'ore al giorno e sarà estremamente leggero per il resto del tempo.Come impedire a Bing di inondare il mio sito con traffico irregolare?
Mi piacerebbe sia per appianare le scansioni, ridurre il limite di velocità o bloccarlo del tutto. In realtà non invia attraverso visitatori reali.
C'è un modo per smussarne il movimento o limitarlo?
È possibile vietare il suo IP utilizzando HTACCESS.
order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all
Ulteriori informazioni che si possono trovare qui: Blog about bot blocking
questo ha un effetto collaterale negativo: abbasserà il tuo pagerank – knocte
loro webmaster blog dice che supportano l'aggiunta di un parametro di indicizzazione di ritardo per il file robots.txt per strozzare il bingbot.
User-agent: msnbot
Crawl-delay: 1
C'è un po 'più spiegazione nella webmaster FAQ PDF
Questi altri link potrebbe essere utile pure:
http://www.bing.com/toolbox/webmasters
http://www.bing.com/community/webmaster/f/12252/t/651373.aspx
è possibile limitare il numero di connessioni dal crawler a F.I. 5 da IPTables impostazione come questa (richiede l'accesso root al firewall):
l'impostazione di IPTables: iptables -I INPUT -p tcp -m connlimit --connlimit-sopra 5 -j REJECT
Ciò limita le connessioni da ciascun indirizzo IP a non più di 5 connessioni simultanee. Questo tipo di connessioni "razionate" e impedisce ai crawler di colpire il sito contemporaneamente.
Hai già aggiunto robots.txt come tag. Non è questo il trucco per te? – EboMike