Metodi per impedire ai motori di ricerca di indicizzare contenuto irrilevante su una pagina

Question

Sto cercando modi per evitare l'indicizzazione di parti di una pagina. In particolare, i commenti su una pagina, poiché pesano molto le voci in base a ciò che gli utenti hanno scritto. Questo fa sì che una ricerca su Google restituisca molte pagine irrilevanti.

Qui ci sono le opzioni che sto considerando finora:

1) commenti di carico utilizzando JavaScript per evitare che i motori di ricerca di vederli.

2) Utilizzare lo user agent per sniffare semplicemente non generare commenti per i crawler.

3) Utilizzare markup specifico del motore di ricerca per nascondere parti della pagina. Questa soluzione sembra alquanto stravagante, comunque. Presumibilmente, questo può essere fatto per prevenire Yahoo! indicizzazione del contenuto specifico:

<div class="robots-nocontent"> 
This content will not be indexed! 
</div> 

Quale è un modo molto brutto per farlo. Ho letto di una soluzione di Google che sembra migliore, ma credo che funziona solo con Google Search Appliance (qualcuno può confermare?):

<!--googleoff: all--> 
This content will not be indexed! 
<!--googleon: all--> 

---

Qualcuno ha altri metodi di raccomandare? Quale dei tre sopra sarebbe il miglior modo per andare? Personalmente, mi sto orientando verso il n. 2 poiché, mentre potrebbe non funzionare per tutti i motori di ricerca, è facile scegliere i più grandi. E non ha effetti collaterali sugli utenti, a meno che non stiano deliberatamente cercando di impersonare un web crawler.

Answer 1

Vorrei andare con l'opzione JavaScript. Ha due vantaggi:

1) i bot non lo vedono 2) accelererebbe il tempo di caricamento della pagina (carica i commenti in modo asincrono e discreto, ad es. Via jQuery) ... i tempi di caricamento della pagina sono molto sottovalutati effetto positivo sulla vostra classifica di ricerca

Answer 2

googleoff e googleon sono per il Google Search Appliance, che è un motore di ricerca che vendono alle aziende che hanno bisogno di cercare attraverso i propri documenti interni. Non è efficace per il sito di Google live.

Penso che il numero 1 sia la soluzione migliore, in realtà. Ai motori di ricerca non piace quando gli dai materiale diverso da quello che dai ai tuoi utenti, quindi il numero 2 potrebbe farti cacciare completamente dalle liste di ricerca.

Answer 3

Questo è il primo che ho sentito dire che i motori di ricerca forniscono un metodo per informarli che una parte di una pagina è irrilevante.

Google dispone di una funzione per i web master di dichiarare parti del loro sito per un motore di ricerca web da utilizzare per trovare le pagine durante la scansione.

1. http://www.google.com/webmasters/
2. http://www.sitemaps.org/protocol.php

Potreste essere in grado di relativamente de-enfatizzare alcune cose sulla pagina specificando le parole chiave più pertinenti utilizzando META tag (s) nella sezione HEAD del codice HTML pagine. Penso che sia più in linea con la filosofia ingegneristica utilizzata per progettare i motori di ricerca in primo luogo.

Vedere Google's Search Engine Optimization tips. Spiegano chiaramente cosa faranno e non ti lasceranno fare per influenzare il modo in cui indicizzano il tuo sito.

Answer 4

Javascript è un'opzione ma i motori stanno migliorando leggendo javascript, ad essere sincero penso che ci pensi troppo, i motori adorano contenuti unici, più contenuti hai su ogni pagina e meglio se gli utenti forniscono è ... è il santo graal.

Solo perché il tuo commentatore ha fatto un riferimento alle guerre stellari sulla recensione del tuo tostapane non significa che non hai intenzione di classificare il modello di tostapane, significa solo che potresti classificarti come tostapane per le star wars.

Un'altra idea sarebbe quella, si può mostrare solo commenti di persone che hanno effettuato l'accesso, CollegeHumor fare lo stesso credo, che mostrano la quantità di commenti un post ha ma è necessario eseguire il login per vederli.