谁在偷我的带宽?用 Nginx 漏桶算法限流防恶意爬虫
年底的突发流量 本来在查资料,结果发现自己博客图片刷不出来了。看了一下账单,好家伙,CDN 流量半小时跑了 5G。 日志拉下来一分析,某个爬虫团队正在丧心病狂地遍历下载我博客所有的附件目录,而且 User-Agent 伪装成了正常的 Chrome 浏览器,Fail2ban 根据 UA 封不掉。 ...
年底的突发流量 本来在查资料,结果发现自己博客图片刷不出来了。看了一下账单,好家伙,CDN 流量半小时跑了 5G。 日志拉下来一分析,某个爬虫团队正在丧心病狂地遍历下载我博客所有的附件目录,而且 User-Agent 伪装成了正常的 Chrome 浏览器,Fail2ban 根据 UA 封不掉。 ...
今天在给一个前后端分离的项目配置 Nginx 反代时,前端控制台一片红,全都是 CORS Error。 分析了一下,前端域名和后端接口的域名不一样,浏览器处于安全机制把请求拦截了。 ...
故障现场 昨天半夜,挂在 VPS 上的一个高频采集脚本突然停止工作,Nginx 前端直接报 502 Bad Gateway。 登进服务器看了一眼 CPU 和内存,都非常空闲。去查服务的错误日志,发现满屏都是夺命报错: Accept error: accept: Too many open files ...