猛禽之冷月无声（和谐版）

本站已经搬迁到猛禽的河蟹八卦（墙外），
06年11月之前的内容归档在猛禽的冷月无声。
请点击以上链接访问。
或订阅（推荐）：XML

吹响爱心集结号，传递爱心手拉手

# 回复: [略有技术含量]彪汗的百度

当初偶就说.text不爽～～

# 回复: [略有技术含量]彪汗的百度

大堆的名词看的晕掉
PDA是什么东西还不知道呢…… ^_^|||

# 回复: [略有技术含量]彪汗的百度

忍不住问句题外话：CC的叶子到底怎么了？？

# 回复: [略有技术含量]彪汗的百度

真是彪汗啊。。。

可以造出一个新名词：汗彪ing

# 回复: [略有技术含量]彪汗的百度

这种情况可以打电话去baidu骂的,baidu可以搜索到我们公司论坛里的东西,我们公司的某某经理就打电话去骂了,不过经我测试,骂了之后的结果还是一样的,哈哈哈,

# 回复: [略有技术含量]彪汗的百度

心心的问题现在属于敏感话题，只能私下讨论。^O^

# 回复: [略有技术含量]彪汗的百度

我也知道可能比较敏感，只好等着私下里探听隐秘了。：）

不过我觉得肯定很多人都很关心的。

# 回复: [略有技术含量]彪汗的百度

彪汗？ 应该是“彪悍”吧。

# 看我如何识破这个骗子

一个哥们看到了 <a href="http://es.pconline.com.cn/sell.jsp?id=380753">http://es.pconline.com.cn/sell.jsp?id=380753</a>的二手计算机，觉得配置，价钱不错，想买下来。我还觉得pconline骗子似乎少一点，也没考虑太多。

后来突然觉得不放心，决定查一番。

# 看我如何识破这个骗子

看我如何识破这个骗子的 一个哥们看到了 http://es.pconline.com.cn/sell.jsp?id=380753的二手计算机，觉得配置，价钱不错，想买下来。我还觉得pconline骗子似乎少一点，也没考虑太多。

后来突然觉得不放心，决定查一番。 先点开了用户信息，名字叫做“张力”，邮件是jfang_xuxu@yahoo.com.cn，我们就从这个邮件下手。

# 回复: [略有技术含量]彪汗的百度

查出什么来了？

# 回复: [略有技术含量]彪汗的百度

robot.txt不属于一种法律规范标准，所以baidu可以不听任它的“摆布”，这好比IE里面有很多不属于W3C的标准规范。
对于此种情况，我一般都强制加上身份验证，我就不信丫baidu能访问到！

# 回复: [略有技术含量]彪汗的百度

是彪汗，“汗”在这里别有意义。^O^

# 回复: [略有技术含量]彪汗的百度

robot.txt的确不属于法律规范，没有强制力，但属于业内普遍接受的约定，同样是搜索引擎，百度这种做法就恶心得多。
我今天就给那个站加上身份验证，不信治不了丫的百度。

# 回复: [略有技术含量]彪汗的百度

百度不遵守ROBOTS协议？？？怪事……

楼主能告诉是哪个网站么？

# 回复: [略有技术含量]彪汗的百度

就是不想让人知道，才用ROBOT的，当然不能告诉楼上了。^O^

# 回复: [略有技术含量]彪汗的百度

robots协议没设对，不要自作聪明，乱冤枉人呦。参考：

http://www.baidu.com/search/robots.html

# 回复: [略有技术含量]彪汗的百度

网站根目录下的robots.txt文件内容：
User-agent: *
Disallow: /

# 貌似Google然而其实不同的Baidu

# 回复: [略有技术含量]彪汗的百度

如果你如你所说，设置了robots协议，而百度收录了一堆你的站点内页面，你大可跑百度去啐李彦宏一顿；但是，如果你仅被收录了一个首页，而且是没有摘要的，那么，我可以告诉你，这是正常的。

对待robots，无论是google，还是百度，都是默认收录首页url，无内容。至于google没收录你，那也许是因为，它觉得你的网站太垃圾了，不好意思收录你而已。

# 回复: [略有技术含量]彪汗的百度

楼上莫非是百度的人？

不妨告诉你，GOOGLE的确收了录了首页的URL，而百度也的确收录了一堆的页面，并且都有摘要和快照。

客观事实证明：这是不正常的。

# 回复: [略有技术含量]彪汗的百度

如果合适把你的站点发信我看看；THX

# 回复: [略有技术含量]彪汗的百度

一会儿说google一个也没收录，一会儿被揭穿了又说收录了首页。大哥，厚道一点嘛

# 回复: [略有技术含量]彪汗的百度

楼上的是不是看不懂中文啊？
我说了GOOGLE只收录了一个首页的URL，什么摘要和页面内容都没有。

# 回复: [略有技术含量]彪汗的百度

我也曾遇到过类似情况，我相信这不是偶然现象
http://www.theyoki.net/blog/article.asp?id=158

# 回复: [略有技术含量]彪汗的百度

TO:topku
回家来找过，才发现年会上忘记跟你要名片了。-_-|||
你的email是什么？发个MAIL给我吧。

# 回复: [略有技术含量]彪汗的百度

to 猛禽，你这么说也只是在回答别人问题的时候才说的。为什么不在文章里这么写呢？这不是让人觉得不厚道。
你的robots协议是1，2个月内新设置的吧？如果在百度那些结果页面生成之前设置的，那baidu就真不厚道了。

# 回复: [略有技术含量]彪汗的百度

我在文章里已经说得很清楚了：GOOGLE没有收录一个页面，而百度收录了——至于URL，只有一个URL，没有摘要，没有页面内容，并且是以这个URL中的域名部分为关键字才能找到，这个当然不能算。
我这个网站开通还不到一个月，而我的robots.txt是在开通同时就放上去的。
是我不厚道还是百度不厚道，不是很明白的事么？

# 只说给你听（12月5日）

# 回复: [略有技术含量]彪汗的百度

有一个事实不知道你注意到没有，百度收录的页面全都是11月17日的，而你的robots.txt就是11月17日放的。
贵站的robots.txt是11月17日更新的。从11月17日以后，baiduspider再也没有抓取站点上的页面。这也算是比较正常的遵守了robots协议。
至于为什么目前还能搜索到内部的页面，应该是因为更新的问题。可能百度的索引库好长时间没有更新了:)。
一般的搜索引擎对首页的更新比较快，所以你的首页在百度已经没有内容了。

# 回复: [略有技术含量]彪汗的百度

楼上看来是百度的工作人员了？
但是这也太巧合了吧。
这个域名是11月9日才申请的，网站空间是15日才开通的。我11月17日刚把所有文件（包括robots.txt）上传上去，就被百度收录了3720个页面（网站总文件数也不超过1000）？
还是希望你们能尽快把已经收录的页面删除，谢谢。

# 回复: [略有技术含量]彪汗的百度

回猛禽:
robots协议是针对spider的,您设置robots.txt后,并不会马上在搜索引擎的索引结果中生效.spider在抓取一个网站之前会分析robots.txt文件,如果已经开始抓取,那么,新设置的robots会有一定的滞后效应,可能会在下一轮抓取前生效,网页索引内容的更新也会间隔一段时间.

# 回复: [略有技术含量]彪汗的百度

这么说我应试在网站开通伊始就把robots.txt放上去，然后过一段时间再上传其它内容？

# 回复: [略有技术含量]彪汗的百度

呵呵,只要在spider知道有你这个网站之前存在robots.txt肯定没问题.各种搜索引擎在实现以及抓取策略上不一样的啦.

春节快乐.

# 很多搜索引擎都没有遵守robots.txt抓取协议

很多搜索引擎都没有遵守robots.txt抓取协议，模拟自己是客户端IE浏览器，这是非常不道德的行为。
看车东的分析:
http://www.chedong.com/blog/archives/000655.html

吹响爱心集结号，传递爱心手拉手