Posso impedire ai motori di ricerca di indicizzare un'intera directory sul mio sito web?

Question

Ho un sito di staging che utilizzo per creare nuove funzionalità, modifiche e contenuti nel mio sito web attuale.

io non voglio questo per ottenere indicizzati, ma spero in una soluzione un po 'più facile che dover aggiungere il seguente per ogni pagina del mio sito:

<meta name="robots" content="noindex, nofollow"> 

Posso fare questo in un modo simile a come ho aggiunto una password al dominio usando un file .htaccess?

Answer 1

Il robots.txt standard è pensato per questo. Esempio

User-agent: * 
Disallow: /protected-directory/ 

I motori di ricerca obbedire a questo, ma naturalmente i contenuti saranno ancora pubblicati (e probabilmente più facilmente rilevabile se si mette l'URL nella robots.txt), quindi la protezione con password tramite .htaccess è un'opzione , pure.

Answer 2

quello che vuoi è un robots.txt file

il file deve essere nella directory principale del server e il contenuto deve essere qualcosa di simile;

User-agent: * 
Disallow: /mybetasite/ 

questo sarà gentilmente chiedere i servizi di ricerca di indicizzazione di non indicizzare le pagine sotto tale directory, che tutti ben educati i motori di ricerca rispetteranno.

Answer 3

Creare un file denominato Robots.txt nella directory public_html.

Inserire il seguente codice in esso:

User-agent: * 
    Disallow: /foldername/ 

nomecartella è il nome della directory che si desidera bloccare

Answer 4

Put seguente codice nel robot.txt che dovrebbe essere in directory principale di rifiutare la vostra intera sito dall'indicizzazione.

User-agent: * 
Disallow:/

Answer 5

del blocco dei file specifico per SEO: Per specificare che corrispondono alla fine di un URL, l'uso $. Ad esempio, per bloccare qualsiasi URL che terminano con .xls:

User-agent: * Disallow : /*.xls$

Rif: http://antezeta.com/news/avoid-search-engine-indexing

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449&topic=1724262&ctx=topic

Answer 6

Infatti, robots.txt al sito root è la strada da percorrere. Per aggiungere più voci (come suggerisce il PO), procedere come segue:

User-agent: * 
Disallow: /test_directory_aaa/ 
Disallow: /test_directory_bbb/ 
Disallow: /test_directory_ccc/ 

---

O, per prendere la .htpasswd percorso:

In .htaccess, aggiungere:

AuthType Basic 
AuthName "Marty's test directory" 
AuthUserFile /test_directory_aaa/.htpasswd 
AuthUserFile /test_directory_bbb/.htpasswd 
AuthUserFile /test_directory_ccc/.htpasswd 
require valid-user 

In.htpasswd, aggiungere:

username1:s0M3md5H4sh1 
username2:s0M3md5H4sh2 
username3:s0M3md5H4sh3