【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集
  kbAY7wPFfi9A 22天前 52 0

【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集

具体需求:从https://kd.nsfc.cn/网站中根据关键词搜索项目信息,收集列表中展示的信息以及详情页面中的参与人员信息等。

在开始干活之前,我们首先要做的是弄清楚需求,然后分析目标网址,确定目标数据所在接口及请求参数等信息。

经过分析,列表数据存在于接口/api/baseQuery/completionQueryResultsData中,并且请求返回的数据为加密信息。

经过调试分析发现,接口数据使用的是DES解密算法进行的数据解密。接下来那就简单一点了,扣一下JS脚本或者使用python语言还原解密算法即可。

至此,列表数据已解密完毕。示例数据如下:

详情页面的接口并未加密,找出相应的接口然后按照需要的参数进行传参即可。

如有需要可扫描下方二维码联系我。

 

 

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 22天前 0

暂无评论