当前位置:首页 > 经验 >

最简单的爬虫代码(爬虫代码简单实例)

来源:原点资讯(www.yd166.com)时间:2022-10-28 21:50:17作者:YD166手机阅读>>

经常会遇到一些简单的需求,需要爬取某网站上的一些数据,但这些页面的结构非常的简单,并且数据量比较小,自己写代码固然可以实现,但*鸡焉用牛刀?

目前市面上已经有一些比较成熟的零代码爬虫工具,比如说八爪鱼,有现成的模板可以使用,同时也可以自己定义一些抓取规则。但我今天要介绍的是另外一个神器 -- Web Scraper,它是 Chrome 浏览器的一个扩展插件,安装后你可以直接在F12调试工具里使用它。

# 1. 安装 Web Scraper

有条件的同学,可以直接在商店里搜索 Web Scraper 安装它

最简单的爬虫代码,爬虫代码简单实例(1)

没有条件的同学,可以来这个网站(https://crxdl.com/)下载 crx 文件,再离线安装,具体方法可借助搜索引擎解决

最简单的爬虫代码,爬虫代码简单实例(2)

安装好后,需要重启一次 Chrome, 然后 F12 就可以看到该工具

最简单的爬虫代码,爬虫代码简单实例(3)

# 2. 基本概念与操作

在使用 Web Scraper 之前,需要讲解一下它的一些基本概念:

sitemap

直译起来是网站地图,有了该地图爬虫就可以顺着它获取到我们所需的数据。

因此 sitemap 其实就可以理解为一个网站的爬虫程序,要爬取多个网站数据,就要定义多个 sitemap。

sitemap 是支持导出和导入的,这意味着,你写的 sitemap 可以分享给其他人使用的。

从下图可以看到 sitemap 代码就是一串 JSON 配置

最简单的爬虫代码,爬虫代码简单实例(4)

栏目热文

爬虫技术抓取网站数据(爬虫怎么抓取网页数据)

爬虫技术抓取网站数据(爬虫怎么抓取网页数据)

编者按:互联网上有浩瀚的数据资源,要想抓取这些数据就离不开爬虫。鉴于网上免费开源的爬虫框架多如牛毛,很多人认为爬虫定是非...

2022-10-28 21:54:36查看全文 >>

爬虫技术可以做什么(爬虫爬取vip视频违法吗)

爬虫技术可以做什么(爬虫爬取vip视频违法吗)

爬虫可以从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网...

2022-10-28 21:32:50查看全文 >>

普通人怎么移民德国(普通人怎么移民韩国)

普通人怎么移民德国(普通人怎么移民韩国)

德国是欧洲第一经济大国,欧盟的核心国。拥有稳定的经济环境、优质的教育品质、优厚的社会福利、令人心旷神怡的自然环境。这些都...

2022-10-28 21:41:56查看全文 >>

加拿大移民费用(加拿大打工一月多少钱)

加拿大移民费用(加拿大打工一月多少钱)

很多关注移民的人都对低成本移民有着不同程度的执念,通常意义上来说可以理解为花费少,最好时间成本也低;它最主要看的是申请人...

2022-10-28 22:14:22查看全文 >>

移民加拿大条件及费用(去加拿大打工最简单办法)

移民加拿大条件及费用(去加拿大打工最简单办法)

根据2022-2024年移民水平计划,加拿大的目标是在2022年接纳431,645名新移民。到2024年,新移民数量将提...

2022-10-28 21:47:07查看全文 >>

python如何赚外快(学会了python如何搞副业)

python如何赚外快(学会了python如何搞副业)

首先是找渠道,虽说猪八戒网这一类的的接单网站被大家口口相传,但我通过python还真的没有找到一个合适的兼职接单平台,难...

2022-10-28 21:45:23查看全文 >>

python学多久可以接单(为什么不建议普通人学python)

python学多久可以接单(为什么不建议普通人学python)

以我差不多四年的 python 使用经验来看,大概可以按以下这些路子来赚到钱,但编程技能其实只是当中必不可少的一部分,搭...

2022-10-28 22:05:01查看全文 >>

爬虫能爬到哪些数据(爬虫怎么实时爬取数据)

爬虫能爬到哪些数据(爬虫怎么实时爬取数据)

爬虫技术应用合法性引争议保障数据安全亟待规制非法爬取数据行为核心阅读在大数据时代的背景下,愈来愈多的市场主体投入巨资收集...

2022-10-28 21:52:28查看全文 >>

什么是网络爬虫(爬虫赚钱的真实经历)

什么是网络爬虫(爬虫赚钱的真实经历)

作为一家大数据公司的运营小编,经常会有人问我“诶?你说的爬虫是什么呀”“爬虫的用途是什么呀?”“你们公司是卖爬虫的吗,有...

2022-10-28 22:05:18查看全文 >>

网页爬虫代码(网页爬虫编写方法)

网页爬虫代码(网页爬虫编写方法)

导读:本文主要分为两个部分:一部分是网络爬虫的概述,帮助大家详细了解网络爬虫;另一部分是HTTP请求的Python实现,...

2022-10-28 21:31:37查看全文 >>

文档排行