请教,怎么爬天气网的 json 数据
比如这个页面: http://m.weather.com.cn/maqi/101020100.shtml
json 格式数据类似: http://d1.weather.com.cn/aqi_7d/XiangJiAqiFc5d/101020100.html
整个 Request Headers(Referer, cookie 之类)完全设了还是返回 403,请教一下问题出在哪里
----------------------- 以下是精选回复-----------------------
答:ua
答:要我说还是换个爬取
答:```
import requests
cookies = {
# 自己填写
}
headers = {
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.8',
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36',
'Accept': '*/*',
'Referer': 'http://m.weather.com.cn/maqi/101020100.shtml',
'Connection': 'keep-alive',
}
params = (
('_', '14483821791309'),
)
a = requests.get('http://d1.weather.com.cn/aqi_all/101020100.html', headers=headers, params=params, cookies=cookies)
a.encoding = 'utf-8'
print(a.text)
```
刚刚用 curl 生成了一份代码,实测是可以的,你可能是没带 cookie ?
答:带上 Referer: http://m.weather.com.cn/maqi/101020100.shtml
就不会 403
答:不用爬吧,现在好多免费 api 接口
答:http://openweathermap.org
答:用彩云天气的免费接口呀
答:楼主的需求是为了天气数据吧?可以找免费的 API 接口,感觉彩云天气的就不错
答:这叫我想起来大学一门课程结课作业做的一个简单的安卓天气了,当时做的很烂很烂……
答:需要天气接口的话,直接去
http://openweathermap.org/current
提供多种 api,免费使用
答:以前我用的中国天气网开放平台的接口 openweather.weather.com.cn 已经不可访问了
现在中国天气网整了个智慧气象服务 不知道是不是升级版 http://smart.weather.com.cn/
0条评论