罗琳做的网站,软装公司,wordpress国外主题公园,重庆景点图片高清图片阅读时间建议#xff1a;4分钟 本篇概念比较多#xff0c;嗯。。
0x01 反爬思路与解决手段
1、服务器反爬虫的原因
因为爬虫的访问次数高#xff0c;浪费资源#xff0c;公司资源被批量抓走#xff0c;丧失竞争力#xff0c;同时也是法律的灰色地带。
2、服务器反什么…阅读时间建议4分钟 本篇概念比较多嗯。。
0x01 反爬思路与解决手段
1、服务器反爬虫的原因
因为爬虫的访问次数高浪费资源公司资源被批量抓走丧失竞争力同时也是法律的灰色地带。
2、服务器反什么爬虫
三月爬虫毕业生写的不管服务器负载能力。 小公司几个人缺钱开始玩主流的爬虫数据分析写的爬虫贼多浪费资源。 个人爬虫忘记停止的爬虫。 商业对手很有钱投入很大精力爬虫浪费资源。 搜索引擎通用爬虫存在一些bug对某一个网站持续爬取他们技术很好对服务器造成压力
3、反爬虫里的概念
爬虫实用技术批量获取信息 反爬虫阻止别人使用技术获取信息 误伤服务器把普通用户屏蔽了 拦截阻止爬虫访问 资源机器和人力成本
4、反爬虫三个方向
4.1身份识别反爬
根据发出的请求符不符合浏览器发出携带的参数那你就会被反爬。
4.1.1通过headers的ua字段反爬
如果我们不修改headers那么ua那一行就是python或者是你用的模块名这样很容易被反。
4.1.2referer字段反爬
看你是从哪发出的请求一般浏览器自己带上有的服务器在获取到一个请求后要看从哪跳转的如果没有referer极有可能是爬虫一般会被反。
4.1.3cookie反爬
通过检查cookie查看发起请求的用户是否具有权限。
4.1.4请求参数反爬
通过html文件中提取请求数据需要仔细分析每一个包 通过发送请求来获取请求数据需要搞清楚参数来源 js生成了请求参数需要js2py获取js执行结果或者用selenium 验证码反爬需要打码平台或者机器学习这里我推荐打码平台成本低而且简单 据说机器学习可以解马赛克
4.2爬虫行为反爬
众所周知在爬取top250时要先访问页面获取详情url振幅此页面发请求针对每一步发出请求服务器在此过程检查数据包中反爬。
4.2.1基于请求频率反爬
当某ip访问过量时很大可能被反爬需要降低爬虫采集速度或者使用代理池又或者是准备多个账号。
4.2.2 基于请求间隔的反爬
请求时间间隔十分规律会被反爬需要设置随机休眠或者是代理池或者多账号。
4.2.3 基于请求次数的反爬
比如支付宝逆天给你限量转账400次需要代理池或者多账号。
4.2.4 基于爬虫行为反爬
有些网站它的翻页url不是规律的需要查看js一般里面有计算步骤 蜜罐获取爬虫ip———什么意思呢 进入拉钩https://www.lagou.com/ 1、这里有很多求职信息于是我们爬取它 2、在爬取的时候爬到了一个隐藏的职位这就是蜜罐他就会确定你是爬虫并且把你的代理池搞报废。 3、正常人看不到而程序看得到怎么实现呢 4、检查这个节点add attribute-》添加style”dispaly:none” 5、于是就看不到了。 通过假数据反爬就是往响应里添加垃圾数据恶心爬虫工程师需要把数据库内容与世纪网页进行比对。 通过阻塞队列反爬就是往响应url里添加垃圾url需要对url进行过滤 通过阻塞网络IO比如往你下载的数据里加个蓝光大电影其实就是爬虫bomb期待社区搞一个搞搞新手需要观察爬虫状态/多线程请求计时
4.3数据加密反爬
加大数据提取难度
4.3.1css字体反爬
进入猫眼https://www.maoyan.com/films/248172 可以看到两个方块但我检查的是9.1啊说明这里有字体反爬虫 需要换成手机版 点这个 在我选中的里面有一个9.1 4.3.2css字体偏移
源码中的数据不是真正数据需要计算css的位移这哪是没找到例子
4.3.3 数据化图片反爬
就是把数据写在图片里需要使用图片解析引擎
4.3.4 编码格式反爬
每个格式都试试 1.print(response.content.decode(GBK)) 申明本账号所分享内容仅用于网络安全技术讨论切勿用于违法途径所有渗透都需获取授权违者后果自行承担与本号及作者无关请谨记守法。
