robots.txt

7calore

3risposta

Voglio sapere come analizzare il file robots.txt in java. Esiste già un codice?

12calore

3risposta

Robots.txt Permetti alla sottocartella ma non al genitore

Qualcuno può spiegare il comando Robots.txt corretto per il seguente scenario. vorrei per consentire l'accesso a: /directory/sottodirectory/.. Ma vorrei anche per limitare l'accesso ai /directory/ non

7calore

1risposta

Robots.txt: questa regola jolly è valida?

Domanda semplice. Voglio aggiungere: Disallow */*details-print/ In sostanza, regole di blocco in forma di /foo/bar/dynamic-details-print --- foo e bar in questo esempio può anche essere totalmente d

5calore

1risposta

Robots.txt, non consentire l'URL multilingue

Ho una pagina pubblica che non è possibile che gli utenti possano accedere. Quindi ho un url che non c'è alcun collegamento e devi inserire manualmente e quindi accedere. L'url è multilingua tuttavia,

11calore

4risposta

Disallow o Noindex sul sottodominio con robots.txt

I miei siti sono dev.qrcodecity.com e www.qrcodecity.com. Voglio che Google cancelli tutti i record del sottodominio dev ma mantieni il www. Sto usando git per memorizzare il codice per entrambi, quin

16calore

3risposta

Come impedire a Bing di inondare il mio sito con traffico irregolare?

Bingbot colpirà il mio sito abbastanza duramente per un paio d'ore al giorno e sarà estremamente leggero per il resto del tempo. Mi piacerebbe sia per appianare le scansioni, ridurre il limite di velo

5calore

4risposta

È possibile controllare la velocità di scansione da robots.txt?

Possiamo dire ai robot di eseguire la scansione o di non eseguire la scansione del nostro sito Web in robot.txt. D'altra parte, possiamo controllare la velocità di scansione nei webmaster di Google (q

27calore

3risposta

robots.txt consentire solo root, non consentire tutto il resto?

Non riesco a farlo funzionare, ma sembra davvero semplice. Voglio la radice di dominio per essere sottoposti a scansione http://www.example.com Ma niente altro venga eseguita la scansione e tutte le

5calore

3risposta

Qual è il miglior linguaggio di programmazione per scrivere un web bot?

Voglio sapere quale linguaggio di programmazione fornisce un buon numero di librerie per programmare un web bot? Qualcosa come la scansione di una pagina web per i dati. Diciamo che voglio tempo per i

5calore

5risposta

Idee trappola BOT/Spider

Ho un cliente il cui dominio sembra essere colpito abbastanza da quello che sembra essere un DDoS. Nei log è normale che gli user agent abbiano IP casuali, ma sfogliano le pagine troppo velocemente pe