使用webdriver爬取网页
  TEZNKK3IfmPf 2024年03月29日 64 0

话不多说,先上代码和效果图。

# Author:wangdq
# Date :2021/10/31 12:07
# Describe :
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
chrome_options.headless = True
chrome = webdriver.Chrome(chrome_options=chrome_options)

chrome.ge

print(chrome.page_source)

 效果图:

使用webdriver爬取网页

使用webdriver爬取网页

 

 从上面的图片可以看出,获取到的chrom对象,他的page_source属性里面就是我们爬取的页面代码。

1、首先需要装chrome(谷歌浏览器)

2、下载对应的chromedriver,需要看你的谷歌浏览器的版本是那个。我的版本是95.0.4638.54

​​chromdriver下载链接​​

使用webdriver爬取网页

 我使用的是windows,所以直接下载32位的压缩包。

下载后,将压缩包解压后获得chromedriver.exe文件,将它放到到python的安装目录下,我的是

 C:\Users\admin\AppData\Local\Programs\Python\Python38-32

使用webdriver爬取网页

 3、下载selenium

Python中安装selenium或者直接cmd中安装:

pip install -U selenium

使用webdriver爬取网页

 4、最后一步就是测试了,参考文章开头的代码。

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2024年03月29日 0

暂无评论

推荐阅读
  TEZNKK3IfmPf   2023年11月14日   46   0   0 Macchrome
  TEZNKK3IfmPf   2024年03月29日   65   0   0 chrome
TEZNKK3IfmPf