線上操作知識庫

技術資料庫首頁 技術資料庫首頁
關鍵字搜尋 依照分類瀏覽
拒絕搜尋引擎的狂掃

就是不給您「搜」--拒絕搜尋引擎的狂掃

當我們辛辛苦苦建立起一個網站的時候,尤其是購物網站。最希望的一件事,當然是在各大搜尋引擎上能被網友們找的到。當然,除了自己花時間又花錢去登錄在各大搜尋引擎上之外,當然就要歸功於這些相當「勤勞」的搜尋機器人啦!他們不分晝夜地光顧您的網站,您的家,不外乎就是要把你網站內的所有資訊全都挖出來,然後記錄進引擎資料庫中,以方便讓大家都能找的到你。

但是,這樣真的就很「妥當」嗎?

因為很多網站內的東東,會全部被搜光光,包括你想公示於人的或是私人祕密,全部搜光光!然後攤在陽光下!
此外,這些搜尋機器人都是利用多線程的方式在狂掃你的網站,你的網站有多少東西,他就會搜多少,而你的流量,就這樣一點一滴的被吃掉了!當然,被吃掉的流量並不會很多,奇摩與google合約1~2GB,以曝光效益上是能接受的!但在眾搜尋引擎之中,還是存在有「強盜型」的搜尋機器人,這在後頭再說明吧~

若為了某些原因,想拒絕搜尋引光顧你的「家」,就需要一張「謝客牌」囉~
所以,我們可以在網站的目錄中,加入一個檔案--「robots.txt」。
當搜尋機器人來到你家大門口,看見這張「謝客牌」時,他就會翻了翻、看了看內容後就摸
摸鼻子走人啦~當然,robots.txt謝客牌裡當然要寫些東西囉~
設定的方式很簡單,先建立一個空白的文字檔,然後在裡頭直接輸入以下文字:

User-agent: *
Disallow: /

這行設定代表,本網站通通不給搜!
但做人,就是不能這麼寒酸,所謂「有朋之遠方來,不亦樂乎!」,如果單單只有某些目錄
是不給人看的,不給人搜的,只要寫在Disallow的後頭就好了。

將建立的文字檔robots.txt檔上傳至您的主機目錄public_html底下

驗證的方式,可以利用以下這個網站來驗證試試看囉!!

http://tool.motoricerca.info/robots-checker.phtml
 

但是,這張謝客牌也非絕對有用!
尤其是對於「強盜型」的搜尋機器人,他就無視你這張謝客牌的存在啦!他還是「親門踏戶」地強行進入你家,好好地把你搜括一便,而且線程數大,搜尋深度深,資料的重覆性高,所以你會發現,只要 「強盜」進來你家一次,等同於蝗蟲過境,流量也是大的嚇人。
杜絕的方式,也只能直接由主機封鎖囉!也就是你的城門啦!

其他相關技術知識
無任何相關技術知識.
附加參考檔案
無任何附件檔案.

網站規劃 技術知識管理系統

本智庫內上刊載的所有內容,包括但不限於文字報導、照片、影像、插圖、錄音片、影音片、檔案、網站畫面的安排、網頁設計等素材,均受到中華民國著作權法及國際著作權法律的保障,相關智慧財產權包括但不限於商標權、專利權、著作權、營業秘密與專有技術等。

本智庫內上刊載的所有內容,在未取得本公司書面許可之前,完全禁止引用變更、發行、播送、轉賣、重製、改作、散布、表演、展示或利用伸昌電腦有限公司線上所屬網站上局部或全部內容及服務以賺取利益。

伸昌電腦有限公司 版權所有 © 2006 SHENCHANG COMPUTER CO.,LTD. All Rights Reserved.