法律制度的出台，给技术的边界做出了明确的限定，技术无罪并不能作为技术实施者为自己开脱的理由。爬虫在实现自己需求的同时，必须做到严格遵守行为准则和法律条例。
四
各类反爬虫技术介绍
为了保护自己合法权益不被恶意侵害，不少网站和应用APP应用了大量的反爬技术。这使得爬虫技术中又衍生出反反爬虫技术，比如各类滑动拼图、文字点选、图标点选等验证码的破解，它们相互促进、相互发展、相互伤害着。
反爬虫的关键在于阻止被爬虫批量爬取网站内容，反爬虫技术的核心在于不断变更规则，变换各类验证手段。
这类技术的发展甚至让人痴迷，比DOTA对战还让人热血沸腾。从那晃动如波浪的文字验证码图形的伪装色里彷佛都能看得见程序员的头发。
1、图片/Flash
这是比较常见的反爬手段，将关键数据转为图片，并添加上水印，即使使用了OCR（Optical Character Recognition，文字识别）也无法识别出来，让爬虫端获取了图片也得不到信息。早期一些电商的价格标签中经常见到这种方式。
2、JavaScript混淆技术
这是爬虫程序员遇到最多的一种反爬方式，简单来说其实就是一种障眼法，本质上还是一种加密技术。很多网页中的数据是使用JavaScript程序来动态加载的，爬虫在抓取这样的网页数据时，需要了解网页是如何加载该数据的，这个过程被称为逆向工程。为了防止被逆向工程，就用到JavaScript混淆技术，加JavaScript代码进行加密，让别人看不懂。不过这种方式属于比较简单的反爬方式，属于爬虫工程师练级的初级阶段。
3、验证码
验证码是一种区分用户是计算机还是人的公共全自动程序，也是我们经常遇到的一种网站访问验证方式，主要分为以下几种：
（1）输入式验证码
这是最最常见的，通过用户输入图片中的字母、数字、汉子等字符进行验证。
图中CAPTCHA 的全名是（Completely Automated Public Turing test to tell Computers and Humans Apart），中文翻译为：全自动区分计算机与人类的图灵测试。实现的方式很简单，就是问一个电脑答不出来但人类答得出来的问题。不过，现在的爬虫往往会用深度学习技术对这样的验证码进行破解，这样的图灵测试已经失效。
（2）滑块式验证码
鉴于输入式的图形验证码的缺点，容易被破解，而且有时候人类都识别不了。滑块验证码横空出世，这种验证码操作简便，破解难度大，很快就流行起来了。破解滑块验证码存在两大难点：一是必须知道图形缺口在哪里，也就是得知道滑块滑到哪；二是要模仿出人类滑动的手势。这样的验证码增加了一定的难度，也给爬虫界增加了很多乐趣，一时间大量破解滑块验证码的技术出现。
（3）点击式的图文验证和图标选择
图文验证，是通过文字提醒用户点击图中相同字的位置进行验证。
