反爬虫 on Moxuan's Bloghttps://blog.moxuan.de/tags/%E5%8F%8D%E7%88%AC%E8%99%AB/Recent content in 反爬虫 on Moxuan's BlogMoxuan's Bloghttps://i.postimg.cc/7hwBy7VS/calcr.pnghttps://i.postimg.cc/7hwBy7VS/calcr.pngHugo -- 0.154.3zh-cn©2023-2026 moxuanTue, 31 Dec 2024 21:10:00 +0800谁在偷我的带宽？用 Nginx 漏桶算法限流防恶意爬虫https://blog.moxuan.de/posts/nginx-limit-req-zone-anti-crawler/Tue, 31 Dec 2024 21:10:00 +0800https://blog.moxuan.de/posts/nginx-limit-req-zone-anti-crawler/<p><strong>年底的突发流量</strong> 本来在查资料，结果发现自己博客图片刷不出来了。看了一下账单，好家伙，CDN 流量半小时跑了 5G。 日志拉下来一分析，某个爬虫团队正在丧心病狂地遍历下载我博客所有的附件目录，而且 User-Agent 伪装成了正常的 Chrome 浏览器，Fail2ban 根据 UA 封不掉。</p>