|
|
防止网站被爬虫抓取的方法有哪些1 K3 n2 A* i( f
3 Y) b; V8 x% v4 K
防止网站被爬虫抓取的方法有哪些
' Q) } Z% e" Q4 o! ]+ S9 ^6 X4 C [& K1 K1 S$ W9 D
对于网络爬虫，我们是既爱又恨。一方面爬虫可以带来客观的流量，另一方面又会占用服务器资源。因此在面对爬虫时，进行爬虫管理很有必要。那么我们该如何防止网站被爬虫呢？! O" j w" j& O1 |) A$ p, o+ w% I
8 y3 J( l @1 X4 z" s一、分辨爬虫的善恶
. z* \0 u9 Q% z# q7 P i2 n
/ D2 j' S: j5 c: c- {* x: q/ [7 l0 L网络爬虫分为两种，一种是善意爬虫，例如百度、Google等搜索引擎的爬虫，另一种是恶意爬虫，它可能会利用网站漏洞，非法窃取网站数据，或者爬取网站内容，占用服务器资源。恶意爬虫的行为是我们所深恶痛觉的，必须想尽办法予以过滤和阻断。网站或者某一些网页不想被诸如百度、Googl等善意爬虫爬取时，我们也希望能采取一些措施。
( L5 d3 a* h# S5 ~9 b9 e
, x8 S" p; G! U: }& O二、如何防止网站被爬虫？ h+ I2 g: ?; l- m+ S6 d: }8 s+ ^
7 @# Y9 @, c% `
针对善意爬虫，几乎所有的搜索引擎爬虫，都会遵守robots协议，只要我们在网站的根目录下存放一个ASCII编码的文本文件，告诉搜索引擎哪些页面不能爬取，搜索引擎的蜘蛛便会遵照协议，不爬取指定页面的内容。0 t5 n9 n# m8 h. s2 |- }
7 Y8 }; s0 {) d* }: S# S8 Q; D
但是robots并不是一个规范，而是一种君子协议，它只对善意爬虫有效，并不能防止恶意爬虫。
& t6 `# j7 l. l% d5 Z: B! M" p! l; a
针对恶意爬虫，我们可以采取以下措施来识别和阻断它。
) W2 V' L n8 }( c7 f" D# J! G% L8 M; n
2 v F* N& \6 [6 i1.限制User-Agent字段
2 p+ P D6 k- z1 d- @
: {. b- Y( n& ?9 C+ jUser-Agent字段能识别用户所使用的操作系统、版本、CPU、浏览器等信息，如果请求来自非浏览器，就能识别其为爬虫，阻止爬虫抓取网站信息。/ i- h7 {5 z" C. N' I5 M2 }6 |- D/ w
. Y8 ]; @, ~8 e' `4 {9 Z" I& vUser-Agent字段虽然有效，但对于精心构造的爬虫来说，效果并不好。攻击者可以通过在恶意爬虫请求的User-Agent字段中带上baidu字符，伪装成百度爬虫绕过这一规则，无法被拦截。
- E2 D3 M' z3 i- I; W/ d# x0 p) _9 b6 ?+ A6 T6 P6 ]1 T
2.限制IP
, Z& m& h, i1 J! k3 w0 n1 P$ ]" B4 V/ K9 O6 J
限制IP是最常见的手段之一，为了效率，恶意爬虫的请求频率往往比正常流量高，找出这些IP并限制其访问，可以有效降低恶意爬虫造成的危害。
& E9 s4 k8 x. w$ X6 O' Y
* V6 o, q" o% T* i: a+ O不过限制IP也有自己的缺点，容易误伤正常用户，攻击者可以通过搭建IP池的方法，来解决这个问题。
1 b9 E, t+ O1 g/ j% V I' @
9 H5 f u, ~- L& J. N) U3. 添加验证码
% h$ J* O2 ?0 Y# Y5 b: @% I8 A) `7 T7 B. c+ e* ^- b4 _
在登录页等页面，添加验证码，以识别是正常流量还是恶意爬虫，也是一种基本的操作。不过如今爬虫技术，早已能解决验证码的问题，例如二值化、中值滤波去噪等等。" @& \6 _) D: R
: r6 ]. E8 t( ^* W! K2 V4 t: R5 s
; E( W% r4 S. d: ^- e' G1 I+ J% C) t1 T- J8 o
原文连接：http://www.szw86.com/thread-9831-1-1.html |
|
IP卡
狗仔卡
发表于 2023-1-1 20:13
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
显身卡