Skip to content

wgr1009/shenzhenAir

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 

Repository files navigation

shenzhenAir

爬取深圳航空航线数据

深圳航空反爬机制: 在每次刷新页面或者切换其他日期是在Cookie中的 PV对应的值 会 加 1,所以在程序中也需要在每次请求之后需要对这个值进行加1操作,初始值可以随意设置,建议20以内, 另外 Cookie有过期时间,时间过期之后需要更新程序中的Cookie,并且每隔一段时间之后,session也会过期,此时也需要更新Cookie值,并且Seeion更新之后,PV对应的值也会重 1 开始累加,最后还有一点,每次我们刷新页面时,会需要延迟一点时间,页面才会加载出来,此时就需要在程序里面请求一次最好睡眠一两秒的时间 在form_data里面可以看到,每次查看不同日期的数据时,日期也会随之改变,所以在程序里面,我用了time模块,读取了当前的日期并且格式化form_data日期的格式,每次请求时传递进去,响应完数据处理之后进行加1,为下一次请求赋值,这样就可以请求到不同日期的数据了(这还有个BUG,因为请求日期大于这个月最大日期后就会报错,如:20190332>20190331,这个bug大家可以自行解决,我暂时没做处理)

About

爬取深圳航空航线数据

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages