Ottenere 404 durante l'accesso a una pagina Web tramite jsoup

Question

Sto diventando 404 mentre accedo a una pagina Web tramite jsoup. Ma la pagina si carica bene quando si accede tramite un browser.

Sono stato in grado di accedere alla pagina attraverso jsoup pochi giorni indietro. Ma ora getta 404. Ho provato ad aggiungere User-Agent, timeout ecc. Ma senza fortuna.

In Firebug, sto ricevendo 404 per la richiesta, ma la pagina si carica bene nel browser.

Non sono sicuro come la pagina venga visualizzata nel browser ma non tramite il programma Java.

Document doc = Jsoup.connect("http://example.com/stock.php?"+quote).userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36") 
      .timeout(1000*7).get(); 

l'esecuzione del programma Java, ottenendo sotto l'errore:

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404, URL= http://example.com/stock.php?AAA
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:537)

prega fatemi sapere se è richiesto ulteriori informazioni.

Answer 1

Per impostazione predefinita, Jsoup genera un'eccezione quando riceve un errore HTTP. È possibile impostare ignoreHttpErrors su true per leggere il contenuto della pagina anche se la pagina ha restituito un errore.

Document doc = Jsoup 
       .connect("http://example.com/stock.php?"+quote) 
       .userAgent("...") 
       .timeout(1000*7) 
       .ignoreHttpErrors(true) 
       .get();