怎樣向百度提交站點地圖文件?robots.txt寫法詳解
2010-7-27 0:0:0 | 作者：sw996 | 0個評論 | 人瀏覽
- 本文來自: 成都百度快照優化|成都百度關鍵詞排名優化|成都SEO【思為網絡】，轉載請保留出處！歡迎發表您的評論
- 相關標簽：成都GOOGLE優化 GOOGLE優化 成都網站優化
怎樣向百度提交站點地圖文件?
我們知道可以通過Google 網站管理員工具向 Google 提交站點地圖 Sitemap，雅虎/MSN都有相應的網站管理員工具以提交站點地圖,具體請查詢:各大搜索引擎網站站長管理員工具詳解:GOOGLE管理員工具-YAHOO管理員工具-BING管理員工具 http://www.sw996.com/seoblog/article45.html
而百度還沒有相應的網站管理員工具以供提交站點地圖,有待完善.那么如何向百度搜索引擎提交站點地圖Sitemap文件？
搜索引擎都遵循一樣的 Sitemap 協議，baidu Sitemap 內容和形式可以和 Google Sitemap 完全一樣。但因為百度還沒開通類似 Google 網站管理員工具的提交后臺，所以，我們需要采用以下方式提交"baidu Sitemap" 。
我們可以通過在 robots.txt 文件中添加以下代碼行來告訴搜索引擎 Sitemap 的存放位置。包括 XML Sitemap 和 文本形式的 Sitemap。
Sitemap:<sitemap_location>
<sitemap_location> 填寫 Sitemap 的完整網址
如：Sitemap: http://www.sw996.com/sitemap2010.xml
如果有很多個.xml 或 .txt 文件，則你可以先建立一個索引文件，把這些.xml 或 .txt 文件的完整網址列在其中。<sitemap_location> 中填寫完整的該索引文件的網址。
以下是思為網絡網站http://www.sw996.com 的robots.txt 文件:
*****************************
允許所有搜索引擎收錄所有頁面
添加網站站點地圖文件
*****************************User-agent: *
Allow: /
Sitemap: http://www.sw996.com/sitemap2010.xml
什么是robots.txt？
robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。
當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。 robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。 語法：最簡單的 robots.txt 文件使用兩條規則： ? User-Agent: 適用下列規則的漫游器
? Disallow: 要攔截的網頁
具體語法分析：其中#后面文字為說明信息；User-agent:后面為搜索機器人的名稱，后面如果是*，則泛指所有的搜索機器人；Disallow:后面為不允許訪問的文件目錄。
例如:
允許所有的搜索引擎蜘蛛robot訪問
User-agent: *
Allow:
或者也可以建一個空文件 “/robots.txt” file
禁止所有搜索引擎訪問網站的任何部分
User-agent: *
Disallow: /
禁止所有搜索引擎訪問網站的幾個部分（下例中的images/inc/目錄）
User-agent: *
Disallow: /images/
Disallow: /inc/
禁止某個搜索引擎的訪問（例如:禁止百度收錄）
User-agent: Baiduspider
Disallow: /
只允許某個搜索引擎的訪問（例如只允許百度收錄）
User-agent: Baiduspider
Disallow:User-agent: *
Disallow: /
常見搜索引擎蜘蛛
百度蜘蛛: Baiduspider
GOOGLE蜘蛛:Googlebot
GOOGLE ADWORDS右側推廣蜘蛛:adsbot-google
有道蜘蛛:youdaobot
微軟蜘蛛:msnbot
Yahoo雅虎蜘蛛:yahoo-mmcrawler
Alexa 蜘蛛:alexa robot
www.dotnetdotcom.org蜘蛛:dotbot
www.exabot.com蜘蛛:exabot
Survey蜘蛛:survey
openbot 蜘蛛:openbot
inktomi 蜘蛛:inktomi
網站管理員必須使蜘蛛程序遠離某些服務器上的目錄——保證服務器性能。比如：大多數網站服務器都有程序儲存在“cgi-bin”目錄下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是個好主意，這樣能夠避免將所有程序文件被蜘蛛索引，可以節省服務器資源。一般網站中不需要蜘蛛抓取的文件有：后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。
討論:通過robots.txt列出限制搜索引擎進行目錄抓取,這樣會將網站管理后臺及一些重要的文件目錄暴露出來,這將給網站攻擊者以入口,為了保證網站的安全,思為網絡認為這種寫法不是很可取,可以變更為:允許搜索引擎抓取指定的文件夾,如果有新的目錄生成,則需要修改robots.txt文件來完善.如果是企業網站,個人建議還是允許抓取所有目錄.
如果大家有更好的方法,歡迎與我們聯系,共同交流學習!本文原創,轉載請注明出處!
相關推薦
- 微信搜索優化WSO即將誕生了嗎？【轉】2017-5-29 0:0:31
- 360搜索上線“悟空算法” 可識別被黑網站 不掛“彩”！2016-12-21 22:42:52
- 搜索引擎的工作原理，搜索引擎怎么收錄網站，網站怎么排名[轉]2016-12-21 12:40:7
- 月影談:寫給想成為前端工程師的同學們【轉】2016-10-13 10:50:9
- 百度競價排名調整后，企業怎樣做網站關鍵詞優化排名2016-6-1 1:33:10
- 谷歌搜索付費廣告布局調整對SEO、用戶們有何影響？2016-4-6 0:24:54
- 瞬間加載！谷歌將全面推出AMP技術 會影響排名哦2016-2-23 13:29:4
- SEO統計數據：Google排名高的是什么樣的頁面？2016-2-16 23:10:50
- 如何刪除百度搜索結果，刪除百度快照2015-10-29 11:52:20
- 百度上線輕量級鏈接提交組件 可自動推送JS代碼2015-10-29 11:49:10
- 網站分類
-
- 最近發表
-
- Tags列表
-
- 隨機文章
-