网站首页 > 基础教程 正文
之前有一个需求需要抓取网络上公开的网页数据,网页的代码大致如下:
需要抓取的数据一共4处,结构并没有什么规律,而且分散。但是使用golang却可以很轻松地获取到所需要的数据,而且代码量很少。
doc, _ := goquery.NewDocumentFromReader(strings.NewReader(string(resp.Body())))
doc.Find("span[class='keyword']").Each(func(i int, s *goquery.Selection) {
fmt.Println(s.Text())
})
doc.Find("div[class='baav']").Each(func(i int, s *goquery.Selection) {
s.Find("span[class='phonetic']").Each(func(i int, s *goquery.Selection) {
fmt.Println(s.Text())
})
})
doc.Find("div[class='trans-container']").Each(func(i int, s *goquery.Selection) {
if i == 0 {
s.Find("li").Each(func(i int, s *goquery.Selection) {
fmt.Println(s.Text())
})
}
})
输出结果:
其实实现的原理很简单,只需要找到当前数据所在的html标签进行逐级获取即可,做过前端开发的小伙伴应该很熟悉这种写法,类似jquery选择器。
主要用到的工具包是:
https://github.com/PuerkitoBio/goquery
猜你喜欢
- 2025-05-23 一文了解 Telerik Test Studio 测试神器
- 2025-05-23 python+selenium做ui自动化测试用法必会
- 2025-05-23 程序猿看小说还要去找TXT?自己动手爬一个TXT才是正确的打开方式
- 2025-05-23 web前端的左侧导航狼,难道你不想试试吗?
- 2025-05-23 同一套代码适配多种数据库解决方案
- 2025-05-23 Ajax异步操作集合啦
- 2025-05-23 Python爬虫利器:requests-html 深度探究
- 2025-05-23 京东商品评论太多,不好抓取?带你一键爬取京东商品所有评论
- 2025-05-23 jQuery EasyUI使用教程:在数据网格中扩展行显示详细信息
- 2024-07-21 使用selenium轻松实现元素拖拽(selenium拖动滑块)
- 最近发表
- 标签列表
-
- jsp (69)
- gitpush (78)
- gitreset (66)
- python字典 (67)
- dockercp (63)
- gitclone命令 (63)
- dockersave (62)
- linux命令大全 (65)
- pythonif (86)
- location.href (69)
- dockerexec (65)
- tail-f (79)
- deletesql (62)
- c++模板 (62)
- linuxgzip (68)
- 字符串连接 (73)
- nginx配置文件详解 (61)
- html标签 (69)
- c++初始化列表 (64)
- mysqlinnodbmyisam区别 (63)
- arraylistadd (66)
- console.table (62)
- mysqldatesub函数 (63)
- window10java环境变量设置 (66)
- c++虚函数和纯虚函数的区别 (66)