|
|
防止网站被爬虫抓取的方法有哪些4 ?$ t: v. e% v* ?# [
2 q# ?+ \0 R1 O# g' Y防止网站被爬虫抓取的方法有哪些; I/ @" H7 v y% {* F
0 K0 O3 I( M U/ Y7 b4 K+ B N
对于网络爬虫，我们是既爱又恨。一方面爬虫可以带来客观的流量，另一方面又会占用服务器资源。因此在面对爬虫时，进行爬虫管理很有必要。那么我们该如何防止网站被爬虫呢？/ ^" {% _" J- k G4 S
8 S" E- v1 m+ n2 x$ `一、分辨爬虫的善恶7 T* G! Y1 Q# K, g/ D
1 u/ L$ v9 H6 a* O" B3 s% s5 R
网络爬虫分为两种，一种是善意爬虫，例如百度、Google等搜索引擎的爬虫，另一种是恶意爬虫，它可能会利用网站漏洞，非法窃取网站数据，或者爬取网站内容，占用服务器资源。恶意爬虫的行为是我们所深恶痛觉的，必须想尽办法予以过滤和阻断。网站或者某一些网页不想被诸如百度、Googl等善意爬虫爬取时，我们也希望能采取一些措施。* j/ \; J$ k6 x1 Z& l0 g0 h! J" H
9 f& k p, H; B/ K Z8 T9 F# K8 @
二、如何防止网站被爬虫？7 ^9 |, s/ a9 J" q9 k# T
. \6 }& o, p& v% ~ z5 F- u
针对善意爬虫，几乎所有的搜索引擎爬虫，都会遵守robots协议，只要我们在网站的根目录下存放一个ASCII编码的文本文件，告诉搜索引擎哪些页面不能爬取，搜索引擎的蜘蛛便会遵照协议，不爬取指定页面的内容。
+ A3 |$ e; K& e0 |
& E7 ~% _ p5 @3 d9 a& e6 u但是robots并不是一个规范，而是一种君子协议，它只对善意爬虫有效，并不能防止恶意爬虫。/ _& n6 P/ H3 y# v. M7 S' D
' k h3 O1 d. }, V7 k
针对恶意爬虫，我们可以采取以下措施来识别和阻断它。3 h: }% i2 ~1 b% j) n, x" e
: Z. v% G% M0 X: d m
1.限制User-Agent字段% m( k' ~# w% j- {# }/ r
2 Y$ x. P K0 o6 p7 [1 ]3 y; hUser-Agent字段能识别用户所使用的操作系统、版本、CPU、浏览器等信息，如果请求来自非浏览器，就能识别其为爬虫，阻止爬虫抓取网站信息。4 T! X, c/ |( U4 X
9 G( L- \ }7 R! K5 [- n: O% @
User-Agent字段虽然有效，但对于精心构造的爬虫来说，效果并不好。攻击者可以通过在恶意爬虫请求的User-Agent字段中带上baidu字符，伪装成百度爬虫绕过这一规则，无法被拦截。
( A' R- n( U N% |9 @' A) X5 `2 x' z6 }/ ?
2.限制IP% H" m: f+ L5 |7 O$ E
' h4 r) k8 O% ^& P4 ]/ v, }
限制IP是最常见的手段之一，为了效率，恶意爬虫的请求频率往往比正常流量高，找出这些IP并限制其访问，可以有效降低恶意爬虫造成的危害。
% `1 |) v6 b& v/ u' `& j0 }- d& B1 U( N& P! w/ P. q7 s
不过限制IP也有自己的缺点，容易误伤正常用户，攻击者可以通过搭建IP池的方法，来解决这个问题。( y6 w) w1 k) Y% @
3 l" r$ O6 g* ?$ g) s& q$ @3. 添加验证码 P, K) ]/ ~1 _3 A' l4 Y1 g
4 r# o4 p& C: h6 X3 T5 O: w
在登录页等页面，添加验证码，以识别是正常流量还是恶意爬虫，也是一种基本的操作。不过如今爬虫技术，早已能解决验证码的问题，例如二值化、中值滤波去噪等等。
* E4 R5 X* g( ~8 h) ], a$ y6 G
! G6 x- d+ k* Q7 n. U9 z' E. G* {" x4 M, K' ~0 C
Y+ j" v+ q! Z
原文连接：http://www.szw86.com/thread-9831-1-1.html |
|
IP卡
狗仔卡
发表于 2023-1-1 20:13
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
显身卡