Abbiamo domini diversi per ogni linguarobots.txt per più domini
E quindi abbiamo sitemap.xml diverso per ogni sito. In robots.txt, voglio aggiungere il riferimento alla sitemap per ogni dominio.
Il file robots.txt può solo informare i motori di ricerca delle sitemap per il proprio dominio. In modo che uno sarà l'unico onorato quando esegue la scansione del file robots.txt di quel dominio. Se tutti e tre i domini si collegano allo stesso sito Web e condividono un file robots.txt, i motori di ricerca troveranno effettivamente ciascuna mappa del sito.
Sto utilizzando la seguente soluzione in .htaccess dopo tutti i reindirizzamenti di dominio e www per il reindirizzamento non www.
# Rewrite URL for robots.txt
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L]
Creare una nuova directory nella root denominata robot. Creare un file di testo contenente le informazioni sui robot specifici per ogni dominio.
Si tratta di tre diversi siti web ospitati insieme. Naturalmente, il contenuto è diverso e anche il file sitemap.xml che hanno è diverso. –
Questa è l'unica risposta del suo tipo e ha solo un upvote .. il resto di internet sembra riscrivere il robots.txt al dominio specifico usando htaccess, ma questo ha molto più senso – Erfan