TimeoutCallback的定义是
private void TimeoutCallback(object state, bool timedOut)
{
if (timedOut) //判断是否是超时
{
RequestState rs = state as RequestState;
if (rs != null)
{
rs.Req.Abort(); //撤销请求
}
_reqsBusy[rs.Index] = false; //重置工作状态
DispatchWork(); //分配新任务
}
}
接下来就是要处理请求的响应了
private void ReceivedResource(IAsyncResult ar)
{
RequestState rs = (RequestState)ar.AsyncState; //得到请求时传入的参数
HttpWebRequest req = rs.Req;
string url = rs.Url;
try
{
HttpWebResponse res = (HttpWebResponse)req.EndGetResponse(ar); //获取响应
if (_stop) //判断是否中止下载
{
res.Close();
req.Abort();
return;
}
if (res != null && res.StatusCode == HttpStatusCode.OK) //判断是否成功获取响应
{
Stream resStream = res.GetResponseStream(); //得到资源流
rs.ResStream = resStream;
var result = resStream.BeginRead(rs.Data, 0, rs.BufferSize, //异步请求读取数据
new AsyncCallback(ReceivedData), rs);
}
else //响应失败
{
res.Close();
rs.Req.Abort();
_reqsBusy[rs.Index] = false; //重置工作状态
DispatchWork(); //分配新任务
}
}
catch (WebException we)
{
MessageBox.Show("ReceivedResource " + we.Message + url + we.Status);
}
}
第19行这里采用了异步的方法来读数据流是因为我们之前采用了异步的方式请求，不然的话不能够正常的接收数据。
该异步读取的方式是按包来读取的，所以一旦接收到一个包就会调用传入的回调方法ReceivedData，然后在该方法中处理收到的数据。
该方法同时传入了接收数据的空间rs.Data和空间的大小rs.BufferSize。
接下来是接收数据和处理
private void ReceivedData(IAsyncResult ar)
{
RequestState rs = (RequestState)ar.AsyncState; //获取参数
HttpWebRequest req = rs.Req;
Stream resStream = rs.ResStream;
string url = rs.Url;
int depth = rs.Depth;
string html = null;
int index = rs.Index;
int read = 0;
try
{
read = resStream.EndRead(ar); //获得数据读取结果
if (_stop)//判断是否中止下载
{
rs.ResStream.Close();
req.Abort();
return;
}
if (read > 0)
{
MemoryStream ms = new MemoryStream(rs.Data, 0, read); //利用获得的数据创建内存流
StreamReader reader = new StreamReader(ms, _encoding);
string str = reader.ReadToEnd(); //读取所有字符
rs.Html.Append(str); // 添加到之前的末尾
var result = resStream.BeginRead(rs.Data, 0, rs.BufferSize, //再次异步请求读取数据
new AsyncCallback(ReceivedData), rs);
return;
}
html = rs.Html.ToString();
SaveContents(html, url); //保存到本地
string[] links = GetLinks(html); //获取页面中的链接
AddUrls(links, depth + 1); //过滤链接并添加到未下载集合中
_reqsBusy[index] = false; //重置工作状态
DispatchWork(); //分配新任务
}
catch (WebException we)
{
MessageBox.Show("ReceivedData Web " + we.Message + url + we.Status);
}
}
