La sitemap contiene URL che vengono bloccati da robots.txt

Question

Abbiamo avuto una situazione accidentale in cui il nostro sito Wordpress aveva il file robots.txt impostato per disabilitare la scansione per circa 7 giorni. Ora sto cercando di eseguire la pulizia e Strumenti per i Webmaster sta dicendo che "la Sitemap contiene URL che vengono bloccati da robots.txt". . DOPO I "ho regolato il file robots.txt e ha permesso strisciare Non v'è alcun motivo per cui gli URL sarebbe ancora bloccati e quando visito gli esempi che sembrano OK

URL robots.txt:. http://bit.ly/1u2Qlbx

Mappa del sito URL : http://bit.ly/1BfkSmx

miei URL in cui il file robots.txt sta bloccando secondo Strumenti per i Webmaster: http://bit.ly/1uLBRea O http://bit.ly/1CsrHnr

Answer 1

Non preoccuparti, se hai abilitato nuovamente gli URL, i crawler web di Google noteranno e eseguiranno nuovamente la scansione delle tue pagine. Il messaggio scomparirà da GWT entro pochi giorni.

Alla fine, puoi testare il tuo file robots.txt con la funzione corrispondente di GWT.

Answer 2

usare questo plugin

https://wordpress.org/plugins/wp-robots-txt/

rimuoverà robots.txt precedente e impostare semplice robots.txt wordpress e aspettare per un giorno

problema può essere risolto.

Answer 3

Google può richiedere un po 'di tempo per eseguire nuovamente la scansione del sito. Direi che l'attesa è probabilmente la tua unica opzione.

Ho impiegato fino a 7 giorni per indicizzare correttamente le cose dopo aver inviato una mappa del sito completa tramite strumenti per i webmaster.

Sembra che tu stia usando SEO Yoast, quel plugin dovrebbe dirti se esistono altri problemi.