Come abilitare 'wget' per scaricare l'intero contenuto dell'HTML con Javascript

Question

Ho un site che voglio scaricare usando Unix wget. Se si guarda il codice sorgente e il contenuto del file contiene una sezione chiamata SOMMARIO. Tuttavia dopo un comando wget simili:

wget -O downdloadedtext.txt http://www.ncbi.nlm.nih.gov/IEB/Research/Acembly/av.cgi?db=mouse&c=gene&a=fiche&l=2610008E11Rik 

Il contenuto del downdloadedtext.txt è incompleta e differente con il codice sorgente di quel sito. Ad esempio non contiene la sezione SOMMARIO. C'è un modo corretto per ottenere correttamente l'intero contenuto?

La ragione per cui lo chiedo perché voglio automatizzare il download da valori diversi in quell'HTML.

Answer 1

è necessario mettere il link all'interno citazioni:

wget -O downdloadedtext.txt 'http://www.ncbi.nlm.nih.gov/IEB/Research/Acembly/av.cgi?db=mouse&c=gene&a=fiche&l=2610008E11Rik' 

Questo perché il & ha un significato speciale e sarà dividere il comando in più comandi.

Answer 2

Il carattere & ha un significato speciale nelle shell. Cita l'URI in modo da richiedere effettivamente l'URI che desideri richiedere.

Answer 3

È possibile utilizzare lo (--page-prerequisites) flag per indicare a wget di recuperare risorse collegate. Da man wget:

Questa opzione consente a Wget di scaricare tutti i file necessari per visualizzare correttamente una determinata pagina HTML. Ciò include cose come immagini, suoni e fogli di stile di riferimento.

Si potrebbe anche guardare l'opzione --follow-tags, che consente di limitare questo processo:

Wget ha una tabella interna di coppie tag/attributo HTML che considera quando alla ricerca di documenti collegati nel corso di una ricorsiva recupero. Se un utente desidera che venga preso in considerazione solo un sottoinsieme di tali tag, tuttavia, dovrà specificare tali tag in un elenco separato da virgole con questa opzione.