Vorrei per Google di ignorare gli URL come questo:Ignora gli URL in robot.txt con parametri specifici?
http://www.mydomain.com/new-printers?dir=asc&order=price&p=3
tutti gli URL che hanno i parametri dir, l'ordine e il prezzo dovrebbe essere ignorato, ma non ho esperienza con robots.txt.
Qualche idea?
Ecco una soluzione se si vuole impedire stringhe di query:
Disallow: /*?*
o se si vuole essere più precisi sulla stringa di query:
Disallow: /*?dir=*&order=*&p=*
è anche possibile aggiungere ai robot. txt quale URL per consentire
Allow: /new-printer$
il $ farà in modo solo il /new-printer sarà consentito.
Maggiori informazioni:
http://code.google.com/web/controlcrawlindex/docs/robots_txt.html
http://sanzon.wordpress.com/2008/04/29/advanced-usage-of-robotstxt-w-querystrings/
Iscrivere il vostro sito web con Google Webmaster Tools. Qui puoi dire a Google come gestire i tuoi parametri.
Configurazione del sito -> Parametri URL
si dovrebbe avere le pagine che contengono tali parametri indicano che essi dovrebbero essere esclusi dall'indicizzazione attraverso i meta tag robots. per esempio.
Mentre la domanda originale menziona specificamente Google, è importante notare che gli Strumenti di Google WebMaster bloccherebbero solo Google. L'aggiunta delle regole Disallow nel file robots.txt riguarderebbe anche altri motori di ricerca. –
Vero. Va inoltre chiarito che robots.txt non blocca le pagine di indicizzazione di Google, ma blocca la lettura dei loro contenuti. La soluzione migliore è usare il meta tag robots sulla pagina stessa. Questo è supportato da tutti i sistemi. – Tiggerito
È possibile bloccare questi specifici parametri di stringa di query con le seguenti righe
Disallow: /*?*dir=
Disallow: /*?*order=
Disallow: /*?*p=
Quindi, se qualsiasi URL contiene dir=, order=, o p=ovunque nella stringa di query, verrà bloccato .
Ciò significa che l'intera pagina non verrà sottoposta a ricerca per indicizzazione a condizione che la condizione sopra indicata sia soddisfatta. –
questo non consentirà le nuove stampanti, voglio solo disorientare la parte querystring –
quindi si desidera consentire '/ new-printer' ma non'/new-printers? Dir = * & order = * & p = *? '? –
sì ................ –