PaperTan: 写论文从未如此简单

计算机应用

一键写论文

使用http协议和winsockapi实现webzip文件下载

作者:未知 时间:2007-04-13

本方法涉及htm语言、http协议、winsock编程和多线程程序设计,通过分析链接关系(以锚标记〈a〉为例)和下载文件(使用get方法),实现网页内容的获取。程序采用winsock初始化、多线程文件下载线程,支持代理服务器,通过发送http请求包并接收返回数据,完成文件下载功能,适用于网络数据采集和处理。

程序实现过程:

1.分析链接关系(限于篇幅,这里只介绍对锚标记〈a〉的分析)。

在htm中〈a〉标记的基本语法为:〈a href=″...″ name=″...″ target=″...″〉。其中参数href的值就是欲获取的ur值。

2.下载。

程序生成get请求包,在成功连接对应web服务器的80或其它端口后,使用基于tcp协议的同步模式套接字发送请求包并等待返回信息。

服务器将返回一个应答包,大致如下:

...

[数据...]

第四行开始就是以字节流的方式返回的数据。

第一, 连接时应连接代理服务器,而不是连接web服务器。

具体程序和类(程序使用dephi3.0编制):

1.初始化winsock。

procedure tform1.formcreate(sender: tobject);

var

wversionrequired: word;

wsdata: twsadata;

begin

ismutithread:=true;

//置″支持多线程″为″真″

wversionrequired:=makeword(2,0);

case wsastartup(wversionrequired,wsdata) of //初始化winsock

wsasysnotready :

appication.messagebox(′网络系统未准备′,′信息′,mb_ok);

wsavernotsupported :

appication.messagebox(′未提供网络接口′,′信息′,mb_ok);

wsaeinva :

appication.messagebox(′网络版本不被支持′,′信息′,mb_ok);

end;

end;

2.文件下载线程。

tdownfiethread = cass(tthread)

private

fieur:string;

//记录文件的ur

protected

procedure execute; override;

pubic constructor create(ur:string);

end;

constructor tdownfiethread.create(ur:string);

begin

fieur:=ur;

freeonterminate:=true;

inherited create(fase);

end;

procedure tdownfiethread.execute;

var

mysocket:tsocket; mycient:tsockaddr;

recvbuf:array [0..332] of char; mycmdstr:string;

ptemp:pchar;

myhande,index_ch,reccount,i:integer;

begin //创建本地socket

mysocket:=socket(afinet,sockstream,0);

if (mysocket=socket_error) then begin

appication.messagebox(′初始化失败!′,′信息′,mb_ok);

exit;

end; //生成连接主机的结构

mycient.sinfamiy:=afinet;

mycient.sin_port:=htons(connectedport);

// connectedport:全局变量,记录连接端口号

strpcopy(recvbuf,getserverip(fieur));

// getserverip(fieur):返回服务器的ip

mycient.sinaddr.saddr:=inet_addr(recvbuf); //连接服务器

if (connect(mysocket,mycient,sizeof(mycient))〈〉0) then begin

cosesocket(mysocket);

exit;

end; //发请求

if (q_useproxy=0) then

//extracturpath(fieur)返回相对ur

strpcopy(recvbuf,mycmdstr);

i:=ength(mycmdstr);

recvbuf[i]:=#13; inc(i); recvbuf[i]:=#10; inc(i);

recvbuf[i]:=#13; inc(i); recvbuf[i]:=#10; inc(i);

recvbuf[i]:=#0;

send(mysocket,recvbuf,i,0);

//发送请求读返回数据

reccount:=recv(mysocket,recvbuf,sizeof(recvbuf)-1,0); //判断是否成功

i:=0;

whie i〈10 do begin

i:=i+1;

if ((recvbuf[i]=′ ′) and (recvbuf[i+1]=′2′) and (recvbuf[i+2]=′0′)

and (recvbuf[i+3]=′0′) and (recvbuf[i+4]=′ ′)) then i:=200;

end;

if i〈〉200 then begin cosesocket(mysocket); exit; end;

//得到数据起始位置

ptemp:=strpos(recvbuf,#13+#10+#13+#10)+4;

index_ch:=ptemp-recvbuf;

//建立下载目录

try forcedirectories(extractfiepath(getfiocapath(fieur)));

except

end; //创建文件

deetefie(getfiocapath(fieur));

myhande:=fiecreate(getfiocapath(fieur)); //如果未接收完则继续

whie (reccount〈〉0) do

begin

fiewrite(myhande,recvbuf[indexch] ,reccount-(indexch));

index_ch:=0;

reccount:=recv(mysocket,recvbuf,sizeof(recvbuf)-1,0);

end; //关闭文件句柄和套接字

fiecose(myhande);

cosesocket(mysocket);

end;