前端歌谣-第四拾柒课-node之http模块之爬虫
  iHT0TLzU167T 2023年12月12日 61 0


前言

我是歌谣 微信公众号关注前端小歌谣一起学习前端知识 今天继续给大家讲解node中爬虫的讲解

安装

npm init -y
npm i cheerio

案例

var http=require("http")
var url=require("url")
var https=require("https")
var cheerio=require("cheerio")
http.createServer((req,res)=>{
     var urlobj=url.parse(req.url)
     res.writeHead(200,{
        "content-Type":"application/json;charset=utf-8",
        "access-control-allow-origin":"*"
     })
     switch(urlobj.pathname){
        case "/api/aaa":
            httpget((data)=>{
                res.end(spider(data))
            })
            break
        default:
            res.end("404")
     }
}).listen(3000)

function httpget(cb){
    var data=""
    https.get(`https://i.maoyan.com/`,(res)=>{
        res.on("data",(chunk)=>{
           data+=chunk
        })
        res.on("end",()=>{
           cb(data)
        })
    })
}


function spider(data){
    let $=cheerio.load(data)
    let $movielist=$("")
     console.log($)
     let movie=[]
     $movielist.each((index,value)=>{
        movie.push($(value).find(".title").text())
     })
    return JSON.stringify(movie)
}

运行结果

前端歌谣-第四拾柒课-node之http模块之爬虫_爬虫


【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年12月12日 0

暂无评论

推荐阅读
  E929ZvlRxyUs   2023年12月23日   19   0   0 前端url前端URL
iHT0TLzU167T