夜雨聆风
浅谈爬虫的本质
相信不少初学者都会听说过爬虫两个字，一些初学者往往可能会停留在爬虫就是爬小说，爬视频。其实爬虫也没有这么简单，我一般习惯用一句话概括爬虫：
一切模拟的网络行为。
什么是网络行为
网络行为就是网络上产生的各种网络交互，说得更详细一点就是指在网络环境中，用户或程序通过各种协议和接口进行的信息交换和交互活动。这些行为可以包括浏览网页、搜索信息、下载文件、上传数据、社交媒体互动、在线购物、网络游戏等多个方面。比如浏览网页，用的就是http或者https协议（什么是协议，后面再做介绍，协议就是一种约定，你和我之间交流需要中文来沟通，中文就是你我之间的协议，同样，各种网络协议就是计算机之间通过网络进行交流沟通的协议）
什么是爬虫
回到爬虫的话题，所以爬虫就是你通过各种技术手段让机器去模拟上述的网络交互。比如你写一个脚本去下载一篇小说，或者去抢一个车票等等，都是用脚本通过网络交互去模拟这些行为，前段时间很火的猿辅导口算的外挂其实就是爬虫，通过各种技术手段模拟刷口算题的行为。
怎么写爬虫
理论上来说只要可以发送网络请求就都可以写爬虫，所以无论是C语言，还是Java或者是在爬虫领域很火的Python，都可以用来写爬虫。只是由于各个语言生态不同，以及语言特性不同，导致实现爬虫的方便程度不同而已。
实现爬虫一般有两种方式，一种是直接通过发送网络请求来模拟网络交互，另一种则更为取巧，则是直接模拟人类的行为，比如模拟按钮点击，鼠标滑动等等，直接通过模拟人类操作来实现对应的交互。二者的优缺点也很明显，第一种直接发送网络请求效率更高，但是也更容易做反爬，所以实现起来难一些，得会一些抓包、逆向的技术。第二种则是更接近真实的用户，效率要低一些，但是只要写模拟行为的脚本，而且网站更难做反爬，所以可能实现起来简单一些（一般就是用验证码）
反爬虫
既然有爬虫，那就肯定有反爬虫。人家网站肯定不愿意去让你以自动化的方式去获取他们网站上的信息，或者是执行一些违规操作比如自动抢票等，所以会用各种技术手段来阻止你写爬虫。比如常见的代码混淆，ip封杀，验证码，加解密技术等等。
#爬虫 #我来科普一下 #科普 #大学生 #大一新生 #计算机 #数据分析我在行 #程序员 #学习 #知识
一切模拟的网络行为。
什么是网络行为
网络行为就是网络上产生的各种网络交互，说得更详细一点就是指在网络环境中，用户或程序通过各种协议和接口进行的信息交换和交互活动。这些行为可以包括浏览网页、搜索信息、下载文件、上传数据、社交媒体互动、在线购物、网络游戏等多个方面。比如浏览网页，用的就是http或者https协议（什么是协议，后面再做介绍，协议就是一种约定，你和我之间交流需要中文来沟通，中文就是你我之间的协议，同样，各种网络协议就是计算机之间通过网络进行交流沟通的协议）
什么是爬虫
回到爬虫的话题，所以爬虫就是你通过各种技术手段让机器去模拟上述的网络交互。比如你写一个脚本去下载一篇小说，或者去抢一个车票等等，都是用脚本通过网络交互去模拟这些行为，前段时间很火的猿辅导口算的外挂其实就是爬虫，通过各种技术手段模拟刷口算题的行为。
怎么写爬虫
理论上来说只要可以发送网络请求就都可以写爬虫，所以无论是C语言，还是Java或者是在爬虫领域很火的Python，都可以用来写爬虫。只是由于各个语言生态不同，以及语言特性不同，导致实现爬虫的方便程度不同而已。
实现爬虫一般有两种方式，一种是直接通过发送网络请求来模拟网络交互，另一种则更为取巧，则是直接模拟人类的行为，比如模拟按钮点击，鼠标滑动等等，直接通过模拟人类操作来实现对应的交互。二者的优缺点也很明显，第一种直接发送网络请求效率更高，但是也更容易做反爬，所以实现起来难一些，得会一些抓包、逆向的技术。第二种则是更接近真实的用户，效率要低一些，但是只要写模拟行为的脚本，而且网站更难做反爬，所以可能实现起来简单一些（一般就是用验证码）
反爬虫
既然有爬虫，那就肯定有反爬虫。人家网站肯定不愿意去让你以自动化的方式去获取他们网站上的信息，或者是执行一些违规操作比如自动抢票等，所以会用各种技术手段来阻止你写爬虫。比如常见的代码混淆，ip封杀，验证码，加解密技术等等。
#爬虫 #我来科普一下 #科普 #大学生 #大一新生 #计算机 #数据分析我在行 #程序员 #学习 #知识
