wget

430calore

5risposta

Ho bisogno di scaricare i file in/tmp/cron_test /. Il mio codice wget è wget --random-wait -r -p -nd -e robots=off -A".pdf" -U mozilla http://math.stanford.edu/undergrad/ Quindi c'è qualche parametr

194calore

8risposta

Come superare la pagina di accesso con Wget?

Sto cercando di utilizzare Wget per scaricare una pagina, ma non riesco a superare la schermata di accesso. Come si invia il nome utente/password utilizzando i dati del post nella pagina di accesso e

10calore

4risposta

Come calcolare un hash per una stringa (url) in bash per la caching di wget

Sto costruendo un piccolo strumento che scaricherà i file usando wget, leggendo gli url da diversi file. Lo stesso URL può essere presente in diversi file; l'url può anche essere presente in un file p

5calore

1risposta

wget WIKI, non ottenere pagine diff (escludere dall'espressione regolare?)

Sto provando a scaricare un mirror statico di un wiki usando wget. Voglio solo l'ultima versione di ogni articolo (non la cronologia completa o diff tra le versioni). Sarebbe facile semplicemente scar

10calore

2risposta

wget, certificati autofirmati e un server HTTPS personalizzato

Per vari motivi, ho creato un semplice server HTTP e aggiunto il supporto SSL tramite OpenSSL. Sto usando certificati autofirmati. IE, Firefox e Chrome caricano felicemente il contenuto finché aggiung

7calore

4risposta

Come si differenziano gli spider web dallo spider di Wget?

La frase successiva catturato la mia attenzione nel manuale del Wget wget --spider --force-html -i bookmarks.html This feature needs much more work for Wget to get close to the functionality of real

8calore

10risposta

wget Vs urlretrieve of python

Ho un compito per scaricare Gbs di dati da un sito web. I dati sono in formato .gz, ogni file ha una dimensione di 45mb. Il modo più semplice per ottenere i file è "wget -r -np -A file url". Questo

19calore

3risposta

Come faccio a rendere wget silenzioso?

wget risuona sempre valori di sistema per la console, anche quando ho specificare q (tranquilla) sulla riga di comando, ad es .: C:\> wget -q http://www.google.com/ SYSTEM_WGETRC = c:/progra~1/wget/e

61calore

4risposta

Timeout WGET?

Io corro uno script PHP tramite cron utilizzando wget, con il seguente comando: wget -O - -q -t 1 http://www.example.com/cron/run Lo script prenderà un massimo di 5-6 minuti per fare la sua elaboraz

9calore

2risposta

Download di una pagina Web e di tutti i relativi file di risorse in Python

Desidero poter scaricare una pagina e tutte le risorse associate (immagini, fogli di stile, file di script e così via) utilizzando Python. Sono (in qualche modo) familiare con urllib2 e so come scaric