Python爬虫爬取B站up主所有动态内容
  T3It887JLZgD 12天前 29 0

请注意,爬虫的使用应遵守网站的爬虫政策和法律法规,不要对网站造成不必要的负担或违反服务条款。


通过浏览器审查元素查看网络日志,发现每次获取动态信息的请求地址都相同,首次加载时offset为空:

https://api.bilibili.com/x/polymer/web-dynamic/v1/feed/space?host_mid=25470223&offset=

随着网页的不断下拉,offset参数无规律变换,第二次及以后的offset就在上一次次请求返回的json里的"offset"中,将"offset"的值带入下一次请求的参数中即可循环爬取。动态下拉到头时,json中"has_more"会由true变为false,可以以此判断是否结尾。此时的代码如下:

def fetch_data(offset):

    # 请求的URL
    url = "https://api.bilibili.com/x/polymer/web-dynamic/v1/feed/space"

    # 请求参数
    params = {
        "offset": offset,
        "host_mid": 25470223
    }

    # 发送请求
    response = requests.get(url, params=params, headers=headers)

    # 解析JSON数据
    data = response.json()
    print(data) # 自行处理json对象

    # 检查是否还有更多数据
    if data['data']['has_more']:
        # 如果有更多数据,使用新的offset发起新的请求
        fetch_data(data['data']['offset'])

# 从offset为空开始
fetch_data("")

直接爬取时,无法直接获取到数据,经网上查询为鉴权错误
{"code":-352,"message":"-352","ttl":1}

这时需要添加请求头及必要的cookie,添加后可以正常爬取,"response.text"即为响应json字符串,可自行存储后单独处理。并添加延时参数防止以后都逛不了B站:

import json
import time
import requests

# 添加请求头
headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36',
    'Cookie':'buvid3=...; b_nut=...; _uuid=...; buvid4=...;' # up主动态页审查元素自行获取,必传
}

def fetch_data(offset):

    # 每次请求时延时0.1秒
    time.sleep(0.1)

    # 请求的URL
    url = "https://api.bilibili.com/x/polymer/web-dynamic/v1/feed/space"

    # 请求参数
    params = {
        "offset": offset,
        "host_mid": 25470223 # up主id,up主动态页审查元素自行获取
    }

    # 发送请求
    response = requests.get(url, params=params, headers=headers)

    # 解析JSON数据
    data = response.json()
    print(data) # 自行处理json对象

    # 检查是否还有更多数据
    if data['data']['has_more']:
        # 如果有更多数据,使用新的offset发起新的请求
        fetch_data(data['data']['offset'])

# 从offset为空开始
fetch_data("")
【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 12天前 0

暂无评论

推荐阅读
T3It887JLZgD