Comments on: 打响下载专项治理第一枪 http://douzi.org/wp/2006/01/09/%e6%89%93%e5%93%8d%e4%b8%8b%e8%bd%bd%e4%b8%93%e9%a1%b9%e6%b2%bb%e7%90%86%e7%ac%ac%e4%b8%80%e6%9e%aa/ God only helps ones who help themselves Sat, 05 Apr 2008 01:06:18 +1100 http://wordpress.org/?v=2.8 hourly 1 By: Sparanoid http://douzi.org/wp/2006/01/09/%e6%89%93%e5%93%8d%e4%b8%8b%e8%bd%bd%e4%b8%93%e9%a1%b9%e6%b2%bb%e7%90%86%e7%ac%ac%e4%b8%80%e6%9e%aa/comment-page-1/#comment-588 Sparanoid Mon, 06 Feb 2006 15:54:02 +0000 http://www.douzi.org/wp/index.php/articles/166#comment-588 感谢提供方法，哀……之前我的一个空间经常能收到超流量的 email，现在好了 还有，baidu 不读 robots.txt 的？我说怎么设置了 download 目录没用呢…… 感谢提供方法，哀……之前我的一个空间经常能收到超流量的 email，现在好了

还有，baidu 不读 robots.txt 的？我说怎么设置了 download 目录没用呢……

]]> By: windix http://douzi.org/wp/2006/01/09/%e6%89%93%e5%93%8d%e4%b8%8b%e8%bd%bd%e4%b8%93%e9%a1%b9%e6%b2%bb%e7%90%86%e7%ac%ac%e4%b8%80%e6%9e%aa/comment-page-1/#comment-551 windix Thu, 19 Jan 2006 03:20:08 +0000 http://www.douzi.org/wp/index.php/articles/166#comment-551 @一为空间: 首先使用robots.txt限制爬虫，不过像baidu之流无良机器人不看robots.txt，那就抓关键字，看refer或者agent，甚至可以分析一下他们的常用IP，一样就地弄死。 @etan: 你随随便便ping下域名IP不就有了 :) 服务器是大城市的电信机房，估计你也是电信线路，网通访问还是有点慢。 @一为空间:
首先使用robots.txt限制爬虫，不过像baidu之流无良机器人不看robots.txt，那就抓关键字，看refer或者agent，甚至可以分析一下他们的常用IP，一样就地弄死。

@etan:
你随随便便ping下域名IP不就有了 :)
服务器是大城市的电信机房，估计你也是电信线路，网通访问还是有点慢。

]]> By: etan http://douzi.org/wp/2006/01/09/%e6%89%93%e5%93%8d%e4%b8%8b%e8%bd%bd%e4%b8%93%e9%a1%b9%e6%b2%bb%e7%90%86%e7%ac%ac%e4%b8%80%e6%9e%aa/comment-page-1/#comment-550 etan Thu, 19 Jan 2006 02:48:34 +0000 http://www.douzi.org/wp/index.php/articles/166#comment-550 呵呵，IP暴露了，大城市的。不过这个空间还真的飞快啊，可以说太快了，嗯! 呵呵，IP暴露了，大城市的。不过这个空间还真的飞快啊，可以说太快了，嗯!

]]> By: 一为空间 http://douzi.org/wp/2006/01/09/%e6%89%93%e5%93%8d%e4%b8%8b%e8%bd%bd%e4%b8%93%e9%a1%b9%e6%b2%bb%e7%90%86%e7%ac%ac%e4%b8%80%e6%9e%aa/comment-page-1/#comment-549 一为空间 Wed, 18 Jan 2006 12:00:01 +0000 http://www.douzi.org/wp/index.php/articles/166#comment-549 厉害啊厉害，不知道怎么对付啊哩八八的机器人啊，能把你的站爬死，太厉害了 厉害啊厉害，不知道怎么对付啊哩八八的机器人啊，能把你的站爬死，太厉害了

]]> By: windix http://douzi.org/wp/2006/01/09/%e6%89%93%e5%93%8d%e4%b8%8b%e8%bd%bd%e4%b8%93%e9%a1%b9%e6%b2%bb%e7%90%86%e7%ac%ac%e4%b8%80%e6%9e%aa/comment-page-1/#comment-526 windix Tue, 10 Jan 2006 13:26:16 +0000 http://www.douzi.org/wp/index.php/articles/166#comment-526 baidu mp3知难而退，现在已经关键字搜索不到了 :) baidu mp3知难而退，现在已经关键字搜索不到了 :)

]]>