搜索引擎都遵循一樣的 Sitemap 協議，baidu Sitemap 內容和形式可以和 Google Sitemap 完全一樣。但因為百度還沒開通類似 Google 網站管理員工具的提交后臺，所以，我們需要采用以下方式提交"baidu Sitemap" 。

我們可以通過在 robots.txt 文件中添加以下代碼行來告訴搜索引擎 Sitemap 的存放位置。包括 XML Sitemap 和 文本形式的 Sitemap。

Sitemap:<sitemap_location>

<sitemap_location> 填寫 Sitemap 的完整網址

如：Sitemap: http://www.sw996.com/sitemap2010.xml 
 

如果有很多個.xml 或 .txt 文件，則你可以先建立一個索引文件，把這些.xml 或 .txt 文件的完整網址列在其中。<sitemap_location> 中填寫完整的該索引文件的網址。

以下是思為網絡網站http://www.sw996.com 的robots.txt 文件:

*****************************
允許所有搜索引擎收錄所有頁面
添加網站站點地圖文件
*****************************

User-agent: *
Allow: /
Sitemap: http://www.sw996.com/sitemap2010.xml

　　robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。

　　當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。 　　robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。 　　語法：最簡單的 robots.txt 文件使用兩條規則：

　　? User-Agent: 適用下列規則的漫游器
　　? Disallow: 要攔截的網頁

具體語法分析：其中#后面文字為說明信息；User-agent:后面為搜索機器人的名稱，后面如果是*，則泛指所有的搜索機器人；Disallow:后面為不允許訪問的文件目錄。

例如:

允許所有的搜索引擎蜘蛛robot訪問

User-agent: *
Allow:

或者也可以建一個空文件 “/robots.txt” file

禁止所有搜索引擎訪問網站的任何部分

User-agent: *
Disallow: /

禁止所有搜索引擎訪問網站的幾個部分（下例中的images/inc/目錄）

User-agent: *
Disallow: /images/
Disallow: /inc/

禁止某個搜索引擎的訪問（例如:禁止百度收錄）

User-agent: Baiduspider
Disallow: /

只允許某個搜索引擎的訪問（例如只允許百度收錄）

User-agent: Baiduspider
Disallow:

User-agent: *
Disallow: /

常見搜索引擎蜘蛛

百度蜘蛛: Baiduspider

GOOGLE蜘蛛:Googlebot

GOOGLE ADWORDS右側推廣蜘蛛:adsbot-google

有道蜘蛛:youdaobot

微軟蜘蛛:msnbot

Yahoo雅虎蜘蛛:yahoo-mmcrawler

Alexa 蜘蛛:alexa robot

www.dotnetdotcom.org蜘蛛:dotbot

www.exabot.com蜘蛛:exabot

Survey蜘蛛:survey

openbot 蜘蛛:openbot

inktomi 蜘蛛:inktomi

網站管理員必須使蜘蛛程序遠離某些服務器上的目錄——保證服務器性能。比如：大多數網站服務器都有程序儲存在“cgi-bin”目錄下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是個好主意，這樣能夠避免將所有程序文件被蜘蛛索引，可以節省服務器資源。一般網站中不需要蜘蛛抓取的文件有：后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。

討論:通過robots.txt列出限制搜索引擎進行目錄抓取,這樣會將網站管理后臺及一些重要的文件目錄暴露出來,這將給網站攻擊者以入口,為了保證網站的安全,思為網絡認為這種寫法不是很可取,可以變更為:允許搜索引擎抓取指定的文件夾,如果有新的目錄生成,則需要修改robots.txt文件來完善.如果是企業網站,個人建議還是允許抓取所有目錄.

 如果大家有更好的方法,歡迎與我們聯系,共同交流學習!本文原創,轉載請注明出處!

Tags：站點地圖，robots，搜索引擎