Come ottenere il contenuto completo da HttpWebResponse se il contenuto di ritorno è Transfer-Encoding: chunked?

Question

Sto scrivendo un programma per scaricare la pagina html da un altro sito web. Ho trovato un problema che per un determinato sito Web, non riesco a ottenere il codice html completo. E posso solo ottenere contenuti parziali. Il server con questo problema sta inviando dati in "Transfer-Encoding: chunked" Ho paura che questo sia il motivo del problema.

Questo le informazioni di intestazione restituito dal server:

Transfer-Encoding: chunked 
Connection: keep-alive 
Pragma: no-cache 
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 
Content-Type: text/html; charset=UTF-8 
Date: Sun, 11 Sep 2011 09:46:23 GMT 
Expires: Thu, 19 Nov 1981 08:52:00 GMT 
Server: nginx/1.0.6 

Ecco il mio codice:

HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest; 
HttpWebResponse response; 
CookieContainer cookie = new CookieContainer(); 
request.CookieContainer = cookie; 
request.AllowAutoRedirect = true; 
request.KeepAlive = true; 
request.UserAgent = 
    @"Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2 FirePHP/0.6"; 
request.Accept = @"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"; 
string html = string.Empty; 
response = request.GetResponse() as HttpWebResponse; 

using (StreamReader reader = new StreamReader(response.GetResponseStream())) 
{ 
    html = reader.ReadToEnd(); 
} 

posso solo ottenere il codice html parziale (credo che sia il primo pezzo dal server). Qualcuno potrebbe aiutare? Qualche soluzione?

Grazie!

Answer 1

se ho capito quello che stai chiedendo è possibile farlo leggere riga per riga

string htmlLine = reader.ReadLine(); 

Answer 2

Non è possibile utilizzare ReadToEnd per leggere i dati Chunked. È necessario leggere direttamente dal flusso di risposta utilizzando GetBytes.

StringBuilder sb = new StringBuilder(); 
Byte[] buf = new byte[8192]; 
Stream resStream = response.GetResponseStream(); 

do 
{ 
     count = resStream.Read(buf, 0, buf.Length); 
     if(count != 0) 
     { 
          sb.Append(Encoding.UTF8.GetString(buf,0,count)); // just hardcoding UTF8 here 
     } 
}while (count > 0); 
String html = sb.ToString();