一、背景调查 1.1youtube介绍 众所周知，youtube是目前全球最大的视频社交平台，该平台每天产生大量的视频内容，涵盖各种主题和类型，从音乐视频到教育内容，再到娱乐节目和新闻报道等。YouTube的用户群体也非常广泛，包括了各个年龄段、地区和兴趣爱好的人群。由于其庞大的用户基数和丰富的内容，YouTube已成为全球最受欢迎的视频分享平台之一，对于用户和内容创作者来说具有巨大的影响力。 1.2分析价值与意义 通过对youtube平台的视频内容（视频标题、视频描述、发布时间、视频标签等）和用户行为（如创作发布、视频点赞、视频评论、互动时间等）进行分析，可以帮助研究人员更加了解目标受众的喜...

目录 一、背景介绍 1.1爬取目标 1.2演示视频 1.3软件说明 二、代码讲解 2.1调用API-搜索接口 2.2调用API-详情接口 2.3API_KEY说明 2.4软件界面模块 2.5日志模块 三、获取源码及软件 一、背景介绍 1.1爬取目标 您好！我是@马哥python说，一名10年程序猿。 我用Python独立开发了一款爬虫软件，作用是：通过搜索关键词采集YouTube的搜索结果，包含14个关键字段：关键词,页码,视频标题,视频id,视频链接,发布时间,视频时长,频道名称,频道id,频道链接,播放数,点赞数,评论数,视频简介。 软件是通过调用YouTube的谷...

目录 一、背景介绍 1.1爬取目标 1.2演示视频 1.3软件说明 二、代码讲解 2.1爬虫采集-搜索接口 2.2爬虫采集-详情接口 2.3cookie说明 2.4软件界面模块 2.5日志模块 三、获取源码及软件 一、背景介绍 1.1爬取目标 您好！我是@马哥python说，一名10年程序猿。 熟悉我的小伙伴都了解，我之前开发过2款软件： 【GUI软件】小红书搜索结果批量采集，支持多个关键词同时抓取！【GUI软件】小红书详情数据批量采集，含笔记内容、转评赞藏等，支持多笔记同时采集！ 现在介绍的这个软件，相当于以上2个软件的结合版，即根据关键词爬取笔记的详情数据。 开...

目录 一、背景说明 1.1效果演示 1.2演示视频 1.3软件说明 二、代码讲解 2.1爬虫采集模块 2.2软件界面模块 2.3日志模块 三、获取源码及软件 一、背景说明 1.1效果演示 您好！我是@马哥python说，一名10年程序猿。 我用python开发了一个爬虫采集软件，可自动抓取快手评论数据，并且含二级评论！ 为什么有了源码还开发界面软件呢？方便不懂编程代码的小白用户使用，无需安装python、无需懂代码，双击打开即用！ 软件界面截图： 爬取结果截图： 结果截图1： 结果截图2： 结果截图3： 以上。 1.2演示视频 软件运行演示视频：【软件演示】快手评论采集...

目录 一、背景介绍 1.1爬取目标 1.2演示视频 1.3软件说明 二、代码讲解 2.1爬虫采集模块 2.2软件界面模块 2.3日志模块 三、获取源码及软件 一、背景介绍 1.1爬取目标 您好，我是@马哥python说，一名10年程序猿。 我用python开发了一个爬虫采集软件，可自动按指定博主抓取该博主已发布笔记数据。 为什么有了源码还开发界面软件呢？方便不懂编程代码的小白用户使用，无需安装python，无需改代码，双击打开即用！ 软件界面截图: 爬取结果截图：结果截图1: 结果截图2: 结果截图3: 以上。 1.2演示视频 软件使用演示：【软件演示】小红书博主笔记采...

目录 一、背景介绍 1.1爬取目标 1.2演示视频 1.3软件说明 二、代码讲解 2.1爬虫采集模块 2.2软件界面模块 2.3日志模块 三、获取源码及软件 一、背景介绍 1.1爬取目标 您好！我是@马哥python说，一名10年程序猿。 我用python开发了一个爬虫采集软件，可自动按关键词抓取抖音视频数据。 为什么有了源码还开发界面软件呢？方便不懂编程代码的小白用户使用，无需安装python，无需改代码，双击打开即用！ 软件界面截图： 爬取结果截图：结果截图1: 结果截图2: 结果截图3: 以上。 1.2演示视频 软件使用演示：【软件演示】抖音搜索采集工具，支持多个...

目录 一、背景说明 1.1效果演示 1.2演示视频 1.3软件说明 二、代码讲解 2.1爬虫采集模块 2.2软件界面模块 2.3日志模块 三、获取源码及软件 一、背景说明 1.1效果演示 您好！我是@马哥python说，一名10年程序猿。 我用python开发了一个爬虫采集软件，可自动抓取抖音评论数据，并且含二级评论！ 为什么有了源码还开发界面软件呢？方便不懂编程代码的小白用户使用，无需安装python、无需懂代码，双击打开即用！ 软件界面截图： 爬取结果截图： 以上。 1.2演示视频 软件运行演示：【软件演示】抖音评论采集工具，可爬取上万条，含二级评论！ 1.3软...

目录 一、背景介绍 1.1爬取目标 1.2演示视频 1.3软件说明 二、代码讲解 2.1爬虫采集模块 2.2软件界面模块 2.3日志模块 三、获取源码及软件 一、背景介绍 1.1爬取目标 您好！我是@马哥python说，一名10年程序猿。 我用python开发了一个爬虫采集软件，可自动按笔记链接抓取笔记的详情数据。 为什么有了源码还开发界面软件呢？方便不懂编程代码的小白用户使用，无需安装python，无需改代码，双击打开即用！ 软件界面截图： 爬取结果截图：结果截图1：结果截图2：结果截图3： 以上。 1.2演示视频 软件使用演示：【软件演示】小红书详情采集工具，支持多...

目录 一、背景介绍 1.1爬取目标 1.2演示视频 1.3软件说明 二、代码讲解 2.1爬虫采集模块 2.2软件界面模块 2.3日志模块 三、获取源码及软件 一、背景介绍 1.1爬取目标 您好！我是@马哥python说，一名10年程序猿。 我用python开发了一个爬虫采集软件，可自动按关键词抓取小红书笔记数据。 为什么有了源码还开发界面软件呢？方便不懂编程代码的小白用户使用，无需安装python，无需改代码，双击打开即用！ 软件界面截图： 爬取结果截图： 结果截图1: 结果截图2: 结果截图3: 以上。 1.2演示视频 软件运行演示：【软件演示】小红书搜索采集工具，可...

一、概要 您好！我是[@马哥python说]，一名10年程序猿。 我原创开发了一套定时自动化爬取方案，完整开发流程如下： 采集数据->筛选数据->存MySQL数据库->发送邮件->微信提醒->定时执行 如果您现在苦于每天繁琐、重复的数据采集工作，可尝试套用该自动化方案，节省人力，降本增效！ 二、效果演示 基于数据隐私保护，部分数据已脱敏。 图2.1MySQL数据库结果（部分数据已脱敏）： 图2.2Excel结果（部分数据已脱敏）： 图2.3微信消息提醒： 图2.4收件箱告警邮件： 图2.5邮件正文内容（部分数据已脱敏）： 以上。 三、代码讲解 3.1爬虫采集行...

马哥原创：用python爬头条热榜，字段含：热榜排名,热榜标题,热度值,热榜标签,热榜分类,热榜链接。 目录 一、爬取目标 二、爬取结果 三、代码讲解 四、技术总结 五、演示视频 六、附完整源码 一、爬取目标 您好！我是@马哥python说，一名10年程序猿。 今天分享一期爬虫案例，爬取的目标是：今日头条热榜的榜单数据。 打开今日头条首页，在页面右侧会看到头条热榜，如下： 爬取以上6个关键字段，含： 热榜排名,热榜标题,热度值,热榜标签,热榜分类,热榜链接。 开发者模式分析： 二、爬取结果 爬取结果截图： 三、代码讲解 首先，导入需要用到的库： importrequests i...

目录 一、概要 二、效果演示 三、代码讲解 3.1爬虫采集行政处罚数据 3.2存MySQL数据库 3.3发送告警邮件&微信通知 3.4定时机制 四、总结 一、概要 您好！我是@马哥python说，一名10年程序猿。 我原创开发了一套定时自动化爬取方案，完整开发流程如下： 采集数据->筛选数据->存MySQL数据库->发送邮件->微信提醒->定时执行 如果您现在苦于每天繁琐、重复的数据采集工作，可尝试套用该自动化方案，节省人力，降本增效！ 二、效果演示 基于数据隐私保护，部分数据已脱敏。 图2.1MySQL数据库结果（部分数据已脱敏）...

用Python采集抓取小红书指定话题下的笔记数据，字段包含：笔记标题,笔记id,笔记链接,作者昵称,作者id,作者链接,发布时间。 目录 一、爬取目标 二、爬虫代码讲解 2.1分析过程 2.2爬虫代码 三、演示视频 四、获取完整代码 一、爬取目标 您好！我是@马哥python说，一名10年程序猿。 最近的亚运会大家都看了吗。除了振奋人心，，看了的小伙伴都懂得！ 我用python爬取了小红书上杭州亚运会这个话题下的所有笔记，目标如下： 爬取结果如下： 共7个核心字段，含: 笔记标题,笔记id,笔记链接,作者昵称,作者id,作者链接,发布时间。 二、爬虫代码讲解 2.1分析过程...

一、爬取目标 您好！我是[@马哥python说]，一名10年程序猿。 我用python开发了一个爬虫采集软件，可自动抓取小红书评论数据，并且含二级评论数据。 为什么有了源码还开发界面软件呢？方便不懂编程代码的小白用户使用，无需安装python，无需改代码，双击打开即用！ 1.1效果截图 软件界面截图： 结果截图1： 结果截图2： 结果截图3： 1.2演示视频 软件运行演示：【软件演示】小红书评论采集工具，可爬取上万条，含二级评论！ 1.3软件说明 几点重要说明： Windows用户可直接双击打开使用，无需Python运行环境，非常方便 需要填入cookie和爬取目标笔记链接 支持同时爬多个笔...

目录 一、爬取目标 1.1效果截图 1.2演示视频 1.3软件说明 二、代码讲解 2.1爬虫采集模块 2.2软件界面模块 2.3日志模块 三、获取源码及软件 一、爬取目标 您好！我是@马哥python说，一名10年程序猿。 我用python开发了一个爬虫采集软件，可自动抓取小红书评论数据，并且含二级评论数据。 为什么有了源码还开发界面软件呢？方便不懂编程代码的小白用户使用，无需安装python，无需改代码，双击打开即用！ 1.1效果截图 软件界面截图： 结果截图1： 结果截图2： 结果截图3： 1.2演示视频 软件运行演示：【软件演示】小红书评论采集工具，可爬取上万条，...

目录 一、爬取目标 二、爬虫代码讲解 2.1分析过程 2.2爬虫代码 三、演示视频 四、获取完整源码 一、爬取目标 您好！我是@马哥python说，一名10年程序猿。 我们继续分享Python爬虫的案例，今天爬取小红书上指定笔记（"巴勒斯坦"相关笔记）下的评论数据。 老规矩，先展示结果： 截图1： 截图2： 截图3： 共爬取了1w多条"巴勒斯坦"相关评论，每条评论含10个关键字段，包括： 笔记链接,页码,评论者昵称,评论者id,评论者主页链接,评论时间,评论IP属地,评论点赞数,评论级别,评论内容。 其中，评论级别包括：根评论、二级评论及二级展开评论。 二、爬虫代码讲解...

一、爬取目标 您好！我是@马哥python说，一名10年程序猿。 我们继续分享Python爬虫的案例，今天爬取小红书上指定笔记（"巴勒斯坦"相关笔记）下的评论数据。 老规矩，先展示结果： 截图1： 截图2： 截图3： 共爬取了1w多条"巴勒斯坦"相关评论，每条评论含10个关键字段，包括： 笔记链接,页码,评论者昵称,评论者id,评论者主页链接,评论时间,评论IP属地,评论点赞数,评论级别,评论内容。 其中，评论级别包括：根评论、二级评论及二级展开评论。 二、爬虫代码讲解 2.1分析过程 任意打开一个小红书笔记的评论，打开浏览器的开发者模式，网络，XHR，找到目标链接的预览数据，如下： 由此...

马哥原创：用python爬《豆瓣电影》任意电影的短评 目录 一、爬虫对象-豆瓣电影短评 二、爬取结果 三、爬虫代码讲解 三、演示视频 四、获取完整源码 一、爬虫对象-豆瓣电影短评 您好！我是@马哥python说，一名10年程序猿。 今天分享一期爬虫案例，爬取的目标是：豆瓣上任意一部电影的短评（注意：是短评，不是影评！），以《热烈》这部电影为例： 爬取以上6个关键字段，含： 页码,评论者昵称,评论星级,评论时间,评论者IP属地,有用数,评论内容。 二、爬取结果 爬取结果截图： 三、爬虫代码讲解 首先，导入需要用到的库： importrequests frombs4importBea...

马哥原创：用python的tkinter开发YouTube评论爬虫软件，双击打开直接使用！ 目录 一、背景介绍 1.1软件说明 1.2效果演示 二、科普知识 2.1关于视频id 2.2关于评论时间 三、爬虫代码 3.1界面模块 3.2爬虫模块 3.3日志模块 四、获取源码及软件 一、背景介绍 你好，我是@马哥python说，一名10年程序猿。 最近我用python开发了一个GUI桌面软件，作用是爬取YouTube指定视频的评论，6个关键字段，含： 评论id、评论内容、评论时间、评论作者昵称、评论作者频道、点赞数 1.1软件说明 几点重要说明： 运行之前，先打开...

一、爬取目标 您好！我是@马哥python说，一名10年程序猿。 最近的亚运会大家都看了吗。除了振奋人心，还主打一个爱曾分明（主要针对小日子和韩锅），看了的小伙伴都懂得！ 我用python爬取了小红书上杭州亚运会这个话题下的所有笔记，目标如下： 爬取结果如下： 共7个核心字段，含: 笔记标题,笔记id,笔记链接,作者昵称,作者id,作者链接,发布时间。 二、爬虫代码讲解 2.1分析过程 核心思路，通过网页端分析接口数据实现。点击手机客户端右上角分享按钮，然后选择复制链接，如下： 把复制好的链接粘贴到电脑端浏览器，并打开开发者模式，如下： 页面往下滚动，刷出更多笔记数据，打开以notes开头...