未分类
HoytZhang
•
2025年05月05日
•
12 分钟阅读
堵不如疏,用LLMS.TXT对ai爬虫进行引导
最近发现网站访问量异常。脚标的”当前浏览次数”数字异常。看了一下后台数据貌似是被刷流量了?搜索了一下ip才发现是被ai爬虫爬的。吐槽一下阿里云的ECS,CPU到70%就直接卡死了。面对ai爬虫,2C2G的小机感觉压力好大。想起来之前读的ruanyifeng的 科技爱好者周刊(第 343 期):如何阻止 AI 爬虫 ,里面提到了两种防止ai爬虫的方案: Cloudflare Anubis 其中Anubis的逻辑大概是: 页面会在用户的浏览器上,执行一段 JS 程序,进行大量的数学计算。直到计算答案正确,才可以访问目标网站。 这个过程有时很耗时,可能需要1~2分钟。……那么,Anubis 到...