Come posso analizzare il contenuto dinamico da una pagina Web?

Question

cerco di ottenere una lista di proxy da questo URL:

Free proxy list

Questo sarebbe bello, ma il numero di porta è contenuto dinamico JavaScript. Come posso ottenere contenuti generati da JavaScript da questa pagina? Ho jsoup e djNativeSwing ma voglio farlo in background thread.

JWebBrowser webBrowser = new JWebBrowser(); 
webBrowser.navigate("http://spys.ru/en/free-proxy-list/"); 
System.out.println(webBrowser.getHTMLContent()); 

questo codice restituisce un risultato Null. Aiuto per favore.

Answer 1

Il browser non ha caricato il limite quando si chiama il metodo getHtmlContent(). Usa invece qualcosa del genere:

JWebBrowser webBrowser = new JWebBrowser(); 
webBrowser.navigate("http://spys.ru/en/free-proxy-list/"); 
webBrowser.addWebBrowserListener(new WebBrowserListener(){ 
    public void loadingProgressChanged(WebBrowserEvent e){ 
     if(e.getWebBrowser().getLoadingProgress()==100) 
      System.out.println(webBrowser.getHTMLContent()); 
    } 
} 
/* Note: I wrote this in the comment field without any testing, 
    you probably have to make the webBrowser final. */ 

JavaDocs è tuo amico!