爬虫:如何获得这种类型的表单提交地址?求教。谢谢。

爬虫:如何获得这种类型的表单提交地址?求教。谢谢。,第1张

爬虫:如何获得这种类型的表单提交地址?求教。谢谢。,第2张

想做个爬虫抓一些简单的数据,但是翻遍了源代码也没有找到他 FormQuery 方法指定的地址。雷死了。 PS:还是在小白的小白层面混。。。

点查询后会打开新的页面,浏览器上 Ctrl+Shift+I 无法跟踪。 地址在这里: http://www.czce.com.cn/portal/jysj/tbcc/A091106index_1.htm

PPS : 只有这么一个方法:点查询后,真实地址就出现了, “ http://www.czce.com.cn/portal/DFSStaticFiles/Future/2016/20161222/FutureDataTrdhedge.htm ” 在抓数据时,替换其时间变量 醉了。

可有些钻牛角尖的我就想看看表单提交地址怎么发现 - -!

----------------------- 以下是精选回复-----------------------

答:302 跳转
你 post 过去跟踪下 Location 就看到了
答:为什么那么麻烦?不就是个简单的日期型列表
答:![snipaste20161223_084448.png]( https://ooo.0o0.ooo/2016/12/23/585c739657d3a.png)

将 form 的 target="_blank"去掉即可
答:给你推荐个东西, Burpsuite 。网上版本很多这是现在能用的链接: https://pan.baidu.com/s/1jI0nABG 密码: wj5k ,要装 java 环境,装好 java 之后运行 BurpLoader.jar ,给设置代理 8080 然后你再点下那个页面的查询就在 burpsuite
的 Proxy 里看到发送的请求了
答:这个很容易吧,连 POST 都不需要,需要查询哪天,直接改地址,而且 POST 之后也只是 302 跳转而已

http://www.czce.com.cn/portal/DFSStaticFiles/Future/{年}/{年月日}/FutureDataTrdhedge.htm

实例:

http://www.czce.com.cn/portal/DFSStaticFiles/Future/2016/20161221/FutureDataTrdhedge.htm
答:function submitForm(formname,actionurl,target)
{
var absoluteurl = 'http://'+serverip+':'+serverport+actionurl;
window.open(absoluteurl,target,winstyle);
document.all(formname).submit();
}

var serverip ="www.czce.com.cn";
var serverport ="80";

js 里是这么写的
答:写爬虫装个抓包工具先,所有请求都可以记录下来,然后是分析包就肯定能找到数据地址。试试 Fiddler2 吧。
答:抓个 http 包就行了,用楼上说的 fiddler 就行。
答:没 cookie 吧,个人做爬虫主要是为了节约时间,他们的代码我根本不分析,直接运行:走 Phantom or Nightmare 。根本不管他怎么隐藏逻辑
答:preserve log 开关

DABAN RP主题是一个优秀的主题,极致后台体验,无插件,集成会员系统
网站模板库 » 爬虫:如何获得这种类型的表单提交地址?求教。谢谢。

0条评论

发表评论

提供最优质的资源集合

立即查看 了解详情