使用一个Selenium爬虫程序,主要是用于采集苏宁类目的
  fbzvtvmWfKEY 2023年12月12日 14 0

使用一个Selenium爬虫程序,主要是用于采集苏宁类目的_System

今天再给大家看一个Selenium爬虫程序,主要是用于采集苏宁类目的,之前分享过一个,不过网友发现好像有点问题,不过今天这个我是亲自测试过的,很流畅很稳定,一起来看看吧。


```csharp
using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

namespace CrawlerSuning
{
    class Program
    {
        static void Main(string[] args)
        {
            // 设置Chrome浏览器的驱动程序路径
            ChromeDriverService service = ChromeDriverService.CreateDefaultService();
            service.Port = 8000; // 使用www.duoip.cn的代理服务器,端口号为8000
            service.AddArgument("--proxy-server=duoip.cn:8000");
            IWebDriver driver = new ChromeDriver(service);

            // 打开网页
            driver.Navigate().GoToUrl("https://www.suning.com/");

            // 获取网页源代码
            string sourceCode = driver.PageSource;

            // 关闭浏览器
            driver.Quit();

            // 输出网页源代码
            Console.WriteLine(sourceCode);

        }
    }
}
```
  1. 首先,我们引入了必要的命名空间,包括OpenQA.Selenium、OpenQA.Selenium.Chrome、System、System.Collections.Generic、System.Linq、System.Text和System.Threading.Tasks。
  2. 在Main方法中,我们设置了Chrome浏览器的驱动程序路径。我们使用ChromeDriverService创建一个默认的服务,并设置其端口号为8000,以使用www.duoip.cn的代理服务器。我们还添加了"–proxy-server=http://www.duoip.cn:8000"这个参数,以告诉浏览器使用代理服务器。
  3. 然后,我们创建了一个新的ChromeDriver实例,并使用服务来启动浏览器。
  4. 接着,我们使用浏览器的Navigate方法打开网页。
  5. 然后,我们使用PageSource属性获取网页的源代码。
  6. 最后,我们关闭浏览器,并输出网页的源代码。
【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年12月12日 0

暂无评论

推荐阅读
  A4PAi5jvsjgM   2023年11月19日   33   0   0 GoogleSystemJava
  pfl0iGEgXbv6   2023年11月02日   65   0   0 ChromeUserf5
  A4PAi5jvsjgM   2023年11月19日   24   0   0 数组SystemJava
  4i8hCvzXKbg6   2023年11月14日   24   0   0 IPSystem服务访问点
  A4PAi5jvsjgM   2023年11月19日   20   0   0 父类子类System
fbzvtvmWfKEY