谁在偷我的带宽？用 Nginx 漏桶算法限流防恶意爬虫
年底的突发流量 本来在查资料，结果发现自己博客图片刷不出来了。看了一下账单，好家伙，CDN 流量半小时跑了 5G。 日志拉下来一分析，某个爬虫团队正在丧心病狂地遍历下载我博客所有的附件目录，而且 User-Agent 伪装成了正常的 Chrome 浏览器，Fail2ban 根据 UA 封不掉。 ...
年底的突发流量 本来在查资料，结果发现自己博客图片刷不出来了。看了一下账单，好家伙，CDN 流量半小时跑了 5G。 日志拉下来一分析，某个爬虫团队正在丧心病狂地遍历下载我博客所有的附件目录，而且 User-Agent 伪装成了正常的 Chrome 浏览器，Fail2ban 根据 UA 封不掉。 ...