Se una sitemap ha * ogni * url

Question

ho un sito con un numero enorme (beh, migliaia o decine di migliaia) di URL dinamici, oltre a pochi URL statici.

In teoria, a causa di un astuto collegamento SEO sulla home page, dovrebbe essere possibile per qualsiasi spider eseguire la scansione del sito e scoprire tutti gli URL dinamici tramite una ricerca ragno-friendly.

Dato ciò, devo davvero preoccuparmi di impiegare lo sforzo per produrre un indice di sitemap dinamico che includa tutti questi URL, o dovrei semplicemente assicurarmi che tutti gli URL statici principali siano lì?

Questo modo effettivo in cui vorrei generare questo non è un problema - Sto solo chiedendo la necessità di effettivamente farlo.

In effetti, le FAQ di Google (e sì, so che non sono l'unico motore di ricerca!) Su questo consiglia di includere gli URL nella sitemap che potrebbero non essere scoperti da una scansione; basandosi su questo, allora, se ogni URL del tuo sito è raggiungibile da un altro, sicuramente l'unico URL che ti serve come linea di base nella tua sitemap per un sito ben progettato è la tua home page?

Answer 1

Se esiste più di un modo per accedere a una pagina, è necessario selezionare un URL principale per ogni pagina contenente il contenuto effettivo e inserirli nella mappa del sito. Cioè la mappa del sito deve contenere collegamenti al contenuto effettivo, non tutti gli URL possibili per ottenere lo stesso contenuto.

Inoltre, considera la possibilità di inserire meta tag canonici nelle pagine con questo URL principale, in modo che gli spider possano riconoscere una pagina anche se è raggiungibile attraverso diversi URL dinamici.

I ragni dedicano solo un tempo limitato alla ricerca di ciascun sito, pertanto è consigliabile trovare il contenuto effettivo nel più breve tempo possibile. Una mappa del sito può essere di grande aiuto in quanto è possibile utilizzarla per puntare direttamente al contenuto reale in modo che lo spider non debba cercarlo.

Abbiamo ottenuto ottimi risultati con questi metodi e Google ora indicizza l'80-90% del nostro contenuto dinamico. :)

Answer 2

In un podcast SO hanno parlato di limitazioni sul numero di collegamenti che è possibile includere/inviare in una sitemap (circa 500 per pagina con un limite di pagine basato sul pagerank?) E come si dovrebbe rompere su più pagine .

Detto questo, ne ho veramente bisogno di preoccuparsi circa spendere lo sforzo per produrre un indice mappa del sito dinamico che include tutti questi URL, o dovrei semplicemente garantire che tutti i principali URL statici sono lì ?

Ho avuto l'impressione che la mappa del sito non riguardasse necessariamente le pagine disconnesse, ma piuttosto l'aumento della scansione delle pagine esistenti. Nella mia esperienza, quando un sito include una mappa del sito, è probabile che le pagine secondarie anche quando collegate in modo prominente siano presenti nei risultati di Google. A seconda del pagerank/link in entrata ecc. Del tuo sito, questo potrebbe essere un problema minore.