用robots.txt來和搜尋機器人打交道
喜歡亂逛的機器人
幾天前的：「主機商客戶資料外洩事件」似乎沒有後續的消息，不過可以確定的是google在第二天一早就把整個快取網頁中的相關資料都清除了，這個事件反應了兩個不容忽視的事實：
1. googlebot是一個很厲害的東西，只要你一不小心就有可能被它挖到不該公開的資料。
2. 由於網管人員的一個小疏失，就可能造成公司的重大損失。
所以只要你有網站，不管是用什麼程式架設的，你就應該好好地管一下googlebot在你家的行動，它雖然很厲害但是也是很聽話的，只要你好好跟它溝通一下，就不會對你的網站造成危害。
什麼是googlebot
google機器人（googlebot）有好幾種名稱，有人叫它「爬蟲(crawler)」，也有人叫它「蜘蛛(spider)」，不過它既不是機器人，也不是爬蟲，更不是蜘蛛，而是google用來檢索你的網頁的一種「程式」，這個程式會主動到你的網站，然後分析你的網站資料並且將資料傳回到google的搜尋資料庫中，當有人在google的搜尋引擎輸入「關鍵字」搜尋時，就是從googlebot所取回的資料中找出最適合的顯示在搜尋結果頁面(serp)，所以就你的網站一定要善待它，萬一它把你的網站列為「拒絕往來戶」那可是一件最糟的事。
為了要討好googlebot，你的部落格最好像高登之前教大家的：「向google提交sitemap」的方法提交一份網站地圖如googlebot作參考，這樣子它才會樂於到你家逛逛。
但是這一隻「怪獸」很喜歡在你家到處亂逛，所以為了要限制googlebot的行動，google貼心地提出了「robots.txt」這樣子的解決方案，讓googlebot在你家真的就會乖乖聽話，而不再到處惹禍！
robots.txt的用途
robots.txt是一個提供給搜尋引擎機器人bot參考的檔案，這個檔案要放在網站的「根目錄」，一般設定好了就很少動它。你可以在你的電腦編輯這個檔案再上傳到網站就可以了，裡面主要是記載網站檢索的容許和限制項目。
這個協定雖然是google訂的，但是其他搜尋引擎也大都遵循這一個模式，當然你也可以不設robots.txt讓搜尋引擎自己找（如果沒有什麼不能見人的資料的話）。
我們就來看一下怎麼設這個robots.txt檔案。
robots.txt語法
robots.txt裡面可以有幾個指令可以用：
user-agent：指定檢索程式的種類。
allow：允許檢索的項目。
disallow：禁止檢索的項目。
$：從後面往前的萬用字元，用來指定檔案類型用的。
：從前面往後的萬用字元，用來指定目錄或檔名用的。
sitemap：用來指定sitemap的名稱。
我們來看一下最常見的robots.txt設定像這樣：
```
user-agent: 
disallow: /wp-admin
disallow: /wp-includes
disallow: /wp-content
disallow: /trackback
disallow: /feed
disallow: /comments
disallow: /category
disallow: /trackback
disallow: /feed
disallow: /comments
allow: /wp-content/uploads
```
第一行的user-agent是指定對所有的bot程式都有效
接下來的一連串disallow就是禁止檢索的目錄，那為為什麼要禁止檢索這些目錄呢？有二個目的：
1. 這些目錄裡在跟你網站內容無關的東西，或是有隱私的資料不希望被檢索，前面所提到的主機商案例應該就是網管人員沒有設該管理後台目錄的禁止檢索。
2. 為了避免相同的網頁被重覆檢索，例如「分類文章」和「彙整文章」等。
最後面的allow則是允許檢索該目錄，如果有disallow掉的目錄下面有要允許檢索的就要加allow來設除外條件。
什麼網站可以設robots.txt
如果你是放在bsp的話那就免了吧！所有的bsp（包括blogger）都不讓你上傳檔案，所以就只能看該bsp的網管，因此最好的作法是不要放任何不能曝光的資料在網站上才是上上之策。
如果是自架的網站那就一定可以設robots.txt，至於怎麼設就請你自己找一下資料了，如果你是用wordpress架站的話，上面的設定值應該就夠用了。
如果覺得還不夠的話，請看一下別人的建議，不過提醒你每一個網站都要針對自己的狀況來設，像我的網站是用wordpress的預設網址結構，就不能有禁止「?」的檢索設定，這樣子所有的文章都檢索不到了！
延伸閱讀
google網站管理員說明中心：使用 robots.txt 檔案來控制對您網站的存取
cocolike - wordpress架設的選擇權blog：wordpress seo - robots.txt 詳細說明
google webmaster central blog：improving on robots exclusion protocol
turk hit box：best robots.txt for wordpress
wordpress codex：search engine optimization for wordpress
己經走過一代了
今年的資訊月已經是第30屆了，中國人的說法30年就是一代，所以台灣的資訊科技應該可以算是開始入走入第二代了吧？在30年前台灣的資訊工業才剛要起步，而經歷了30年的演變，台灣在全球資訊工業己經佔有一個舉足輕重的地位，這一點大家在30年前應該是想不到吧？
相信我有大半的讀者都還不到30歲，而高登正好藉這個機會回憶一下29年前(1980)的一些大概的狀況：
那時候還是蔣經國當總統，十大建設也才剛完成，台灣正處於一個蓄勢待發的氣氛中。
前一年剛發生過美麗島事件，一些黨外人士正在對威權統治提出挑戰。
宏碁(1976)己經成立了4年而聯電(1980)才剛成立，現在大家熟知的台積電(1987)、華碩(1989)等公司都還沒成立。
apple 電腦公司才剛推出 apple ii (1977)，「個人電腦」這個名詞才剛出現。
台灣完全還沒有個人電腦，宏碁的小教授一號(1981)隔年才問世，台灣的電腦主機都只是大型主機。
台灣有一些的電子加工業正好搭上大型電玩機台的列車，拚命的趕出貨中。
第一代的電玩代表作叫「小蜜蜂」(space invaders)，我特別找出來讓大家回味一下。
第一屆資訊展的內容除了官方及美國廠商的大型電腦主機之外，另一個吸引人的地方就是各家廠商開發的電玩機台。
那時候大家都還沒有「智慧財產權」的觀念，所以台灣開發的電玩機台也都是「仿製」、「抄襲」來的。
這一群電玩尖兵後來因為電玩被政府取締而轉作個人電腦。
那時候台灣最重要的電子零件賣場是「中華商場」。
還有，真的不記得有沒有去看第一屆的資訊展了，但是應該很有可能，因為那時候在基隆讀書，禮拜天就泡在中華商場裡。
小蜜蜂在這裡啦！
那時候的電玩程式都很小，以 apple ii 才配64k的記憶，你說程式會有多大？而電玩機台用的也是跟 apple ii 一樣的6502 cpu，規格都差不多，再看看現在個人電腦的規格真是天壞之別！也許你現在用的手機就比30年前大學裡面全校的主機，在速度、容量等都高上幾級呢！
get the space invaders widget and many other great free widgets at widgetbox! not seeing a widget? (more info)  
那個年代還沒有滑鼠哦，所以請用鍵盤的左右鍵控制，空白鍵發射子彈。
題外話：30年前的台灣是不是跟現在大陸很像啊？台灣真的要多加油！