robots.txt

5calore

4risposta

Robotparser non sembra analizzare correttamente

Sto scrivendo un crawler e per questo sto implementando il parser robots.txt, sto usando il lib standard robotparser. Sembra che robotparser è non analisi correttamente, io sono il debug mio crawler u

9calore

1risposta

File robots.txt in MVC.NET 4

Ho letto un articolo sull'ignorare i robot da qualche URL nel mio progetto ASP MVC.NET. Nel suo articolo l'autore ha detto che dovremmo aggiungere qualche azione in alcuni controller off come questo.

6calore

1risposta

Django - Caricamento Robots.txt tramite viste generiche

Ho caricato robots.txt nella mia directory modelli sul mio server di produzione. Sto usando viste generiche; from django.views.generic import TemplateView (r'^robots\.txt$', TemplateView.as_view(tem

5calore

3risposta

La sitemap contiene URL che vengono bloccati da robots.txt

Abbiamo avuto una situazione accidentale in cui il nostro sito Wordpress aveva il file robots.txt impostato per disabilitare la scansione per circa 7 giorni. Ora sto cercando di eseguire la pulizia e

8calore

2risposta

django servono robots.txt in modo efficiente

Ecco il mio attuale metodo di servire robots.txt url(r'^robots\.txt/$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')), Non credo che questo sia il modo

5calore

1risposta

HTTP 403 errore durante il recupero robots.txt con mechanize

Questo comando shell riesce $ curl -A "Mozilla/5.0 (X11; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0 (compatible;)" http://fifa-infinity.com/robots.txt e stampa robots.txt. L'omissione dell'o

32calore

4risposta

Qual è il modo più intelligente per gestire robots.txt in Express?

Attualmente sto lavorando su un'applicazione creata con Express (Node.js) e voglio sapere qual è il modo più intelligente per gestire diversi robots.txt per ambienti diversi (sviluppo, produzione). Qu

6calore

2risposta

Dominio di Azure indicizzato da google

Ho un sito Web che ha un dominio "example.azurewebsites.net". Ho anche configurato un dominio personalizzato per "www.example.com". Google sta indicizzando il mio sito web 'example.azurewebsites.net'

8calore

1risposta

Non consentire determinate directory di pagina ma NON quella pagina stessa

Diciamo che ho una pagina dinamica che crea URL's dagli input dell'utente. Ad esempio: www.XXXXXXX.com/browse < -------- (Sfoglia la pagina) Ogni volta che l'utente inserisce una query, genera più pag

51calore

4risposta

Come fermare Google indicizzare il mio repository Github

Io uso Github per memorizzare il testo di uno dei miei siti Web, ma il problema è che Google indicizza anche il testo in Github. Quindi lo stesso testo apparirà sia sul mio sito che su Github. per ese