robots.txt

5calore

1risposta

Posso usare robots.txt per bloccare determinati parametri URL?

Prima di dirmi "cosa hai provato" e "testalo tu stesso", vorrei notare che gli aggiornamenti robots.txt rallentano terribilmente per il numero del mio sito , quindi se potessi fornire un'esperienza te

11calore

2risposta

Web Crawler - Ignora il file Robots.txt?

Alcuni server dispongono di un file robots.txt per impedire ai crawler di eseguire la scansione nei loro siti Web. C'è un modo per far sì che un web crawler ignori il file robots.txt? Sto usando Mecha

159calore

1risposta

È possibile utilizzare un url relativo sitemap in un file robots.txt?

In robots.txt posso scrivere il seguente URL relativo per il file Sitemap? sitemap: /sitemap.ashx Oppure devo usare l'URL completo (assoluto) per il file di mappa del sito, come: sitemap: http://sub

14calore

3risposta

Come impedire ai motori di ricerca di eseguire la scansione dell'intero sito Web?

Voglio impedire ai motori di ricerca di eseguire la scansione di tutto il mio sito Web. Possiedo un'applicazione Web per i membri di un'azienda. Questo è ospitato su un server Web in modo che i dipend

12calore

2risposta

Intestazione HTTP per rilevare una richiesta di precarico da Google Chrome

Google Chrome 17 ha introdotto un nuovo feature che precarica una pagina Web per migliorare la velocità di rendering al momento di effettuare la richiesta (premendo invio nell'omnibar). Due domande: C

44calore

3risposta

Ignora gli URL in robot.txt con parametri specifici?

Vorrei per Google di ignorare gli URL come questo: http://www.mydomain.com/new-printers?dir=asc&order=price&p=3 tutti gli URL che hanno i parametri dir, l'ordine e il prezzo dovrebbe essere ignorato,

6calore

1risposta

Consenti solo a Google CSE e non consente la ricerca standard di Google in ROBOTS.txt

Ho un sito su cui sto utilizzando un motore di ricerca personalizzato di Google. Desidero che Google CSE esegua la scansione del mio sito ma voglio che rimanga fuori dai risultati di una normale ricer

9calore

6risposta

Come creare un URL privato?

Voglio creare un URL privato http://domain.com/content.php?secret_token=XXXXX Poi, solo i visitatori che hanno l'URL esatto (ad esempio ricevuto per e-mail) possono consultare la pagina. Controlliam

8calore

1risposta

Qualche ragione per non fare un 301 su favicon.ico, apple-touch-icon e robots.txt?

Vorrei reindirizzare le richieste di queste risorse al mio CDN. C'è qualche ragione per non farlo?

7calore

1risposta

come limitare l'indicizzazione del sito

So che questa domanda è stata posta molte volte ma voglio essere più specifica. Ho un dominio di sviluppo e ho spostato il sito in una sottocartella. Diciamo da: http://www.example.com/ A: http://ww