python菜鸟：需要用python写一个脚本，调用msys.bat(git版本控制器)实现从服务器下载代码的功能。

假设运行msysbat选择1,即输入字符1

oschdir(r'D:\sms\Mms')

para=r'1'

cmdSvnUpdate = r'echo %s|msysbat'%para

handle = ossystem(cmdSvnUpdate)

其中para为选择相应命令要输入的字符

用MFC的CInternetFile,CInternetSession,CHttpConnection等类，已知服务器名及文件路径，代码越简单越好。

以下是代码片段：

//Download http file through proxy

//--------------------------------------------------------------------------------

We can find details about Proxy Authentication and Sever Authentication methed in MSDN

Just search for the keyword "INTERNET_OPTION_USERNAME"

Here I give a very simple example It works in my project

CString GeHttptFile(const char url)

{

CString szContent;

char strProxyList[MAX_PATH], strUsername[64], strPassword[64];

//in this case "proxya" is the proxy server name, "8080" is its port

strcpy(strProxyList, "proxya:8080");

strcpy(strUsername, "myusername");

strcpy(strPassword, "mypassword");

DWORD dwServiceType = AFX_INET_SERVICE_HTTP;

CString szServer, szObject;

INTERNET_PORT nPort;

AfxParseURL(url, dwServiceType, szServer, szObject, nPort);

CInternetSession mysession;

CHttpConnection pConnection;

CHttpFile pHttpFile;

pConnection = mysessionGetHttpConnection(szServer,

INTERNET_FLAG_KEEP_CONNECTION,

INTERNET_INVALID_PORT_NUMBER,

NULL, NULL);

pHttpFile = pConnection->OpenRequest("GET", szObject,

NULL, 0, NULL, NULL,

INTERNET_FLAG_KEEP_CONNECTION);

//here for proxy

INTERNET_PROXY_INFO proxyinfo;

proxyinfodwAccessType = INTERNET_OPEN_TYPE_PROXY;

proxyinfolpszProxy = strProxyList;

proxyinfolpszProxyBypass = NULL;

mysessionSetOption(INTERNET_OPTION_PROXY, (LPVOID)&proxyinfo, sizeof(INTERNET_PROXY_INFO));

pHttpFile->SetOption(INTERNET_OPTION_PROXY_USERNAME, strUsername, strlen(strUsername)+1);

pHttpFile->SetOption(INTERNET_OPTION_PROXY_PASSWORD, strPassword, strlen(strPassword)+1);

pHttpFile->SendRequest(NULL);

DWORD nFileSize = pHttpFile->GetLength();

LPSTR rbuf = szContentGetBuffer(nFileSize);

UINT uBytesRead = pHttpFile->Read(rbuf, nFileSize);

szContentReleaseBuffer();

pHttpFile->Close();

delete pHttpFile;

pConnection->Close();

delete pConnection;

mysessionClose();

return szContent;

}

bool SaveUrl(LPCTSTR url, LPCTSTR filename)

{

HINTERNET hNet = ::InternetOpen("Outlook",

PRE_CONFIG_INTERNET_ACCESS,

NULL,

INTERNET_INVALID_PORT_NUMBER,

0) ;

HINTERNET hUrlFile = ::InternetOpenUrl(hNet,

url,

NULL,

0,

INTERNET_FLAG_RELOAD,

0) ;

char buffer[101024] ;

DWORD dwBytesRead = 1;

BOOL bRead=TRUE;

CFile file;

fileOpen(filename,CFile::modeCreate|CFile::modeWrite);

while(bRead&&dwBytesRead>0)

{

bRead = ::InternetReadFile(hUrlFile,

buffer,

sizeof(buffer),

&dwBytesRead);

if(dwBytesRead>0)

fileWrite(buffer,dwBytesRead);

}

::InternetCloseHandle(hUrlFile) ;

::InternetCloseHandle(hNet) ;

fileClose();

AfxMessageBox("finished");

return bRead;

}

void CC02021101Dlg::OnOK()

{

// TODO: Add extra validation here

bool bret=SaveUrl("http://clubpchomenet/bbs2phptopic=40&lanmuid=2","C:\\temp\\testhtml");

if(bret)

AfxMessageBox("true");

else

AfxMessageBox("false");

}

下载事件说明：

OnDownloadBegin <--开始下载

OnDownloadComplete <--下载结束

OnDocumentComplete <--页面下载完毕

对于每个HTML页面,顺序都是如此如果是Frame或IFrame的文件都会当成HTML页面处理也就是说如果一个页面中有3个IFrame,那么总共会触发4次BeforeNavigate2事件

对于每个连接且需要显示出来的二进制文件(如gif,bmp,jpg)都会触发一个DownloadBegin和DownloadComplete事件

那我们怎么判断是否全部下载完毕呢嘿嘿,TWebBrowser控件不是有一个Busy属性的吗包括相关文件：

#include

#include

#import

做成了：

Bool GetFromWeb(LPSTR pURL, LPSTR

SaveAsFilePath )

{ CInternetSession session; //会话期对象)

CHttpConnection pServer = NULL; // 指向服务器地址(URL)

CHttpFile pHttpFile = NULL;　// HTTP文件指针

CString strServerName; //服务器名

CString strObject; //查询对象名(http文件)

INTERNET_PORT nPort; //端口

DWORD dwServiceType; //服务类型

DWORD dwHttpRequestFlags = //请求标志

INTERNET_FLAG_EXISTING_CONNECT

INTERNET_FLAG_NO_AUTO_REDIRECT;

const TCHAR szHeaders[] =　_T("Accept: text/\r\nUser-Agent:　HttpClient\r\n");

BOOL OK=AfxParseURL( //词法分析

pszURL, //被分析URL串

dwServiceType, //服务类型，ftp，http等

strServerName, //服务器名

strObject, //URL中被查询对象

nPort ); //URL指定的端口，可能为空

OK=OK && //本例只考虑http协议

(dwServiceType ==

INTERNET_SERVICE_HTTP);

if (!OK)

{ AfxMessageBox("URL出错"); //报错

return false;

}

pServer = sessionGetHttpConnection(strServerName, nPort); /获得服务器名

pHttpFile = pServer-> OpenRequest( CHttpConnection::HTTP_VERB_GET,strObject, NULL, 1, NULL, NULL,dwHttpRequestFlags);

//向服务器发送请求，建立http连接，

//建立本机上的http文件指针

pHttpFile->AddRequestHeaders(szHeaders);

pHttpFile->SendRequest(); //发送请求

CStdioFile f; //输出文件对象

if( !fOpen( //打开输出文件

SaveAsFilePath, CFile::modeCreate | CFile::modeWrite | CFile::typeText ) )

{ MessageBox( "Unable to open file";

return false;

}

//下面将检索结果保存到文件上

TCHAR szBuf[1024]; //缓存

while (pHttpFile->ReadString(szBuf, 1023))

fWriteString( szBuf );

fClose(); //善后工作

pHttpFile ->Close();

pServer ->Close();

if (pHttpFile != NULL) delete pHttpFile;

if (pServer != NULL) delete pServer;

sessionClose();

return true;

}

1迅雷是什么？

迅雷是基于P2SP的一款下载软件，能够大大增强下载速度，可谓迅雷不及掩耳盗铃之势

如破竹。

P2SP的道理不复杂，就是指：如果多个服务器上有某个相同的文件，当某个用户下载其

中一个服务器上的这一文件时，迅雷会自动查找到另外的几个服务器，同时下载这一文

件，达到提速的目的。

迅雷比较流氓，在用户没有得到任何提示毫不知情的情况下，偷偷上传用户的本地文件

,在所有网络流量的统计中排到了第7位。(注：CERNET上似乎可以进三强)

迅雷比较小气，不说源代码不是公开的，连原理也不公开。

迅雷比较聪明，她的架构让人佩服啊佩服，佩服啊佩服，佩服啊佩服……

2下载原理

还记得百度的mp3搜索么？你到mp3baiducom上搜索一个mp3，百度会给你列出她知道的

所有服务器列表（这些服务器都是别人的），你可以在百度上点击该连接下载mp3，而不

用登陆真正的服务器。

迅雷就是把这个过程自动化了，并且增加了判断文件唯一性的功能，画个图简单说明一

下：

1．用户点击1234上的QQ_1exe文件的连接

2．用户客户机上的迅雷得到该文件的唯一的校验值。

3．迅雷自动向自己的资源服务器上搜索，查找到存放同一文件的其他的服务器列表

4．得到文件在该服务器上的目录和文件名（红色部分，有可能和原始连接中的文件名不

相同），ftp://1235/QQ_2exe，http://1236/QQ_3exe，以及公网用户1237

有QQexe

5．迅雷自动向1235和1236上下载该文件的不同文件块，以达到加速下载的目的（

紫色部分）。

6．用户向公网用户1237发送一个UDP资源请求

7．1237回应一个资源请求说：偶这儿有你要的文件

8．用户向公网用户1237的3077端口发起请求，并传输数据。

9．下载完毕后，如果迅雷资源服务器上，该文件的服务器列表中没有目前用户点击下载

的服务器1234，则将这个新的服务器地址加入到该文件的服务器列表（蓝色部分）。

注：

1．上述过程中的6、7、8步骤中隐含了一个过程：判断用户是否是公网用户。

如果是公网用户，则该用户的IP地址和提供下载服务的端口也将记录在迅雷的资源服务

器中，后续用户可以从该用户处下载；第三节有这个过程的说明。

2．迅雷如何区分不同的文件？很多文件名字不同但是内容相同，很多文件名字相同但是

内容不同。搜索迅雷的相关信息只是得到了几句无关痛痒的废话：迅雷还使用了独创的

文件校验机制,保证了用户下载文件的正确性和完整。至于什么方法不得而知

3．我们如何查看迅雷搜索到的资源列表？

在迅雷搜索到一系列的资源列表并且任务没有完成时，会在相同下载目录下建立一个临

时文件，里面有搜索到的资源信息，其中peer就是搜索到的包含要下载文件的公网用户

。

3协议解析

分析第二节原理图中的下载过程，第1、2、5步和正常的下载是一模一样的，我们无法根

本无法区分。那好，我们就在3、4、6上做文章。

除了上述用户下载一个具体文件的过程的各个报文外，还有交换资源信息报文，用户和

用户之间的文件块传输报文、判断用户是否是公网用户的报文等。

1．资源请求报文

每次迅雷都会向21913413247的tcp端口3076发出资源请求，该地址是写死在迅雷软件

中的，并非依靠DNS请求得到。

如果该地址不可用，则会切换到另外两个可替换的地址21913413242、219134132

86。

Web迅雷则使用21913413246。

过滤掉这个报文，那么迅雷客户端就无法完成资源请求，无法从多点下载。用TP过滤掉

报文后迅雷只能从原始连接下载，如下图：

协议报文特征如下：

2．资源搜索回应报文

过滤掉这个报文，那么迅雷客户端就无法得到资源列表，无法从多点下载。

协议报文特征如下：

3．用户之间的文件传输（握手报文）

用户之间是可以传送文件块的，下面的报文就是传送文件块开始之前的握手报文，

3077端口为客户端的监听端口，用来把本地的文件传输给别人。（如果3077不能用,会

转到其他端口）

4．用户之间资源信息交换报文

5．提交新的资源信息报文

6．连接NAT测试服务器报文

迅雷每过几分钟就会向statnat1sandainet发送NAT测试报文，也就是告诉迅雷的资源

服

务器，自己是否是公网IP

该报文由于无返回报文，所以猜想采用的办法是采用STUN的方法：

将本机的IP地址放在UDP的payload里，如果迅雷的服务器收到报文发现IP层的源地址

和payload里的IP地址一致，那么就是公网地址，否则就是处于防火墙后面或者需要经

NAT才能上公网。

协议报文如下：

注：

sandainet是xunlei旗下的一个网站，很少单独抛头露面，多出现在迅雷软件检索关联

信息、显示广告的DNS请求报文中。

4TP过滤

如果TP武断的对迅雷进行过滤，只需要设定一个traffic management，把目的地址为21

91341320/24网段，目的端口为3076的报文全部过滤就可以防止迅雷下载，但是有可

能会误报。下面的规则更详细一点，可以减少误报。

1．针对用户向服务器资源请求报文和资源回应报文的过滤

由于迅雷的服务器IP地址比较容易更换，所以建议过滤的DV：

协议：tcp

源端口/目的端口：3076

开始的四个字节：0x29000000

2．针对用户之间的资源信息交互报文的过滤

协议UDP

端口3076

前四个字节0x32000000

3．针对用户之间的文件传输（握手报文）的过滤

协议tcp

源端口或者目的端口可以为3077、3078

前四个字节为0x29000000

4．提交新的资源信息的报文的过滤

协议TCP

目的端口3076

前四个字节0x29000000

5．针对连接NAT测试服务器的报文的过滤

协议UDP

目的端口3076

前四个字节0x00000101

参考资料：

首先你要知道服务器的IP地址，再知道用户名和密码，以及相应的ftp端口。常用的是21端口，都填写在FTp软件中，然后应用，连接。连接上就会看到服务器上面的网站代码，将其全部下载到本地，你如果懂代码，就自己怎么改就怎么改，不懂可以问别人。做好之后再传上去。就行了，代码改动最好在本地先通过测试。再更新！