最近小站的VPS频繁超载当机,罪魁祸首终于找到了,那就是网络爬虫了。吞了我这么多内存,让我重装服务器系统,害我好几个晚上通宵达旦,绞尽脑汁,真是尼玛尼玛尼玛!!!真是万万没想到啊。

 

之前优化Mysql & Apache、取消Joomla Cache、优化网站程序等等,试了很多方法,虽然都有点效果,但总有点治标不治本的感觉,网站访问量没多少,可内存使用量还是不断上升。今天看网站的Apache日志,我终于是看出点门道了。那大量的访问,全部都是各大搜索引擎的爬虫,爬虫记录简直就是丧心病狂!国外爬最多的Google谷歌大虫,国内爬最多的是本人最讨厌的360spider,就是臭名昭著的360公司出的搜索引擎。

你说不让它们爬网站吧,网站的动态就没法被浏览器掌握,也网站就没访问量了。全都让它们爬吧,服务器的负载又是居高不下,主机商那边整天要锁死我的VPS,还得发ticket开通。

现在唯一的办法就是清理Cache,并让服务器定时自动重启。爬虫文件设置一下不知道有没有效果,明天再试试。768M的小内存VPS真是让他蛋疼。