之前Mr.King在當網管的時候,有一陣子主機的資源幾乎被大陸的搜尋引擎(SOSO)給吃光了,因為這是一台FTP Server 大部分的同學都沒有做好安全防護,幾乎所有的檔案都放在public_html底下,所以造成主機的loading非常的大,當下Mr.King就先利用 robots.txt 限制搜尋引擎的搜尋,接著Mr.King還親自寫mail過去告知對方,不要再那麼頻繁的搜尋我的主機,那次的事件才告一段落。
本文開始
到底robots.txt是幹嘛用的呢?簡單的說 robots.txt 就是各位的主機與搜尋引擎溝通的一個管道,它可以跟任一搜尋引擎溝通,也可以告訴對方哪些資料夾或檔案是不能夠被搜尋的,不過這並不是一個標準的協定,只是一些搜尋引擎一起訂出來的,所以對一些大型的BOT或者有點用,但是有一些飢餓的BOT還是會照樣搜尋的。有興趣可以到 The Web Robots Pages 看看官方教學唷!
如何製作一個 robots.txt
其實一個 robots.txt 裡面只有兩個資料要填,一個完整的範例如下,搜尋引擎的名稱可以在你的主機被訪問後得知對方的名稱。請注意 robots.txt全部小寫唷!!!
User-Agent: 對象搜尋引擎的名字
Disallow:某目錄底下的所有檔案接拒絕被搜尋
Allow:僅開放此目錄開放搜尋
User-Agent 該怎麼填
如果你想要跟所有的搜尋引擎說的話,可以直接打這樣
User-Agent: *
如果你只是想要跟某一個搜尋引擎通知的話,以Google為例:
User-Agent: Googlebot
如果你想要跟特定但多個搜尋引擎對話的話,就可以分段打( Slurp 是 Yahoo 的)
User-Agent: Googlebot
Disallow: /
User-Agent: Slurp
Disallow: /
常見的ROBOT是
Baiduspider http://www.baidu.com(百度)
Slurp http://www.inktomi.com(Yahoo)
MSNBOT http://search.msn.com(MSN)
Scooter http://www.altavista.com
ia_archiver http://www.alexa.com
Googlebot http://www.google.com(Google)
FAST-WebCrawler http://www.alltheweb.com
怎麼限制或開放指定的目錄
如果你要全部拒絕被搜尋的話,可以打
Disallow: /
OR
Allow:
如果是全部開放搜尋(預設就是這樣)
Disallow:
OR
Allow: /
如果是特定目錄的話,就只要放置該目錄的位置就可以了
不想製作 robots.txt 該怎麼辦
一定會有人覺得要做一個檔案太麻煩了,有沒有別的方法?當然有囉!只是Mr.King覺得這個方法還更麻煩,但是還是跟各位說一下囉!也就是把搜尋限制放在HEADER的META裡面,寫法如下
<html> <head> <title>SEO</title> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> </head>
這個標籤要注意以下幾點:
- 這個標籤並沒有大小寫的分別
- name="ROBOTS" 表示針對所有的搜尋引擎,如果要針對某一個搜尋引擎可以寫成 name=GoogleBot
- 而 CONTENT部分有四種指令分別為:index、noindex、follow、nofollow,之間以「,」分隔
-
INDEX 指令告訴搜尋引擎可抓取該頁面
-
FOLLOW 指令表示機器人可以沿著該頁面上的連結繼續抓取下去
-
這個標籤的預設值是INDEX和FOLLOW,只有inktomi除外,它的預設值是INDEX,NOFOLLOW
Rox
2009 年 06 月 24 日設定這個其實有好有壞 ..
看個人需求下去設定 …
但是我都沒再搞它 ………..
哈哈 !!
像有個網友的Wordpress ..
平常同時上線人數大約10來個
這兩個月~流量常常爆掉..
導致無法連線 ……….
不知道是否與這個有關 (大大說的收尋引擎) …
Mr.King
2009 年 06 月 25 日robots.txt 主要是設定搜尋引擎可以抓取的目錄,就像一張許可證一樣,如果那位網友的流量常常爆掉,要檢視該主機的LOG 查明原因,我想造成的原因是搜尋引擎的可能性不大。
谷歌优化-Bansi
2009 年 06 月 25 日在Google管理员工具里的一个工具也能够方便生成robots.txt
SoSo这个搜索引擎是腾讯QQ的产品,技术核心是Google的,所以SoSo的排名跟Google的基本都是一样。本来我也一直不看好soso,但腾讯QQ在国内的通讯软件中占有绝对的垄断优势,最近也是在预测使用soso的90后非常多。
对于未来来说,soso还是有很强劲的势头的。
001over
Mr.King
2009 年 06 月 25 日恩恩,在台灣的確對大陸的搜尋引擎不太了解,有機會再請您指教了