Perché i crawler dei motori di ricerca non eseguono javascript?

Question

Ho lavorato con alcune applicazioni javascript avanzate usando molte richieste Ajax per il rendering della mia pagina. Per rendere le applicazioni scansionabili (da google), devo seguire https://developers.google.com/webmasters/ajax-crawling/?hl=fr. Questo ci dice di fare qualcosa come: ridisegnare i nostri collegamenti, creare istantanee html, ... per rendere il sito ricercabile.

mi chiedo perché i crawler non vengono eseguiti javascript per ottenere il reso pagina e l'indice su di esso. C'è una ragione dietro a questo? O è una caratteristica mancante dei motori di ricerca che potrebbero venire in futuro?

Answer 1

Anche se GoogleBot gestisce effettivamente i siti scritti in js. Il grosso problema con i siti ajax è che anche se GoogleBot può eseguire js e gestire richieste ajax.

Non è esattamente possibile per il web crawler per sapere quando la pagina termine del caricamento. Per questo motivo, un crawler Web potrebbe caricare una pagina e indicizzare la pagina prima di iniziare a eseguire richieste Ajax. Diciamo che uno script verrà eseguito sullo scroll della pagina. È molto probabile che Google Bot non attiverà tutti gli eventi possibili.

L'altro problema è la navigazione

Dal navigazione può essere fatto senza pagina ricarico, un URL può mappare a più "risultato vista". Per questo motivo, Google chiede agli sviluppatori di conservare una copia delle pagine utilizzando pagine statiche per supportare quelle pagine che altrimenti sarebbero inaccessibili. Stanno per essere indicizzati.

Se il tuo sito può avere ogni pagina accessibile tramite un URL completo. Quindi non dovresti avere problemi con l'indicizzazione del tuo sito.

Detto questo, gli script stanno per essere eseguiti. Ma non è sicuro che il crawler indicizzerà la pagina dopo aver finito di gestire tutti gli script.

Ecco un link:

GoogleBot smarter: E 'stato scritto nel 2010 e ci si può aspettare che i webcrawlers ottenuto molto più intelligente da allora.

Answer 2

La lettura di puro HTML è la modalità più veloce di attesa/chiamata per le funzioni javascript ecc. E quindi facendo attenzione, come è impostata la pagina. Penso che sia la ragione principale.

Un altro potrebbe essere che l'intera procedura di scansione è automatizzata, quindi, di nuovo, leggere la pagina statica è molto più semplice e ha molto più senso. Come con javascript il contenuto della pagina potrebbe cambiare ogni secondo, ecc, rendendo crawler "confuso"

Considerato, che questo non è ancora stato implementato nei motori di ricerca, penso che non arriverà nel prossimo futuro.

Answer 3

E 'più difficile da leggere pagine con gli script per i crawler, perché è contenuto tutto su dinamicamente cambiare. E i crawler non si preoccupano solo della prima visita in loco, ma controllano di nuovo le pagine indicizzate ogni settimana, due in modalità rapida, semplicemente confrontando in un modo "trova 10 differenze" per il contenuto e le modifiche dei link. Ricontrollare le pagine con gli script sarà troppo doloroso e costoso per i crawler in una rete mondiale.