一個(gè)告訴搜索引擎“哪些能看，哪些別看”；另一個(gè)告訴它“我最希望你看這些”。這兩個(gè)配置雖簡單，但對SEO效果影響巨大。
一、什么是 Robots.txt？
Robots.txt 是網(wǎng)站根目錄下的一個(gè)文本文件，用來告訴搜索引擎爬蟲哪些頁面可以抓取、哪些不可以。它不控制頁面是否會被收錄，但能指導(dǎo)搜索引擎“抓取優(yōu)先級”。
? 常見作用：
- 阻止抓取重復(fù)或無價(jià)值頁面（如后臺、搜索頁）
- 節(jié)省網(wǎng)站抓取資源
- 避免隱私或測試內(nèi)容被搜索引擎抓到
二、Robots.txt 的基本語法
User-agent: * # 適用于所有搜索引擎
Disallow: /admin/ # 禁止訪問后臺目錄
Allow: /public/ # 允許訪問公開目錄
Sitemap: https://www.example.com/sitemap.xml # 指定網(wǎng)站地圖位置
示例說明：
User-agent: 設(shè)定要對哪個(gè)搜索引擎生效，* 表示所有。
Disallow: 不允許抓取的路徑。
Allow: 顯式允許抓取的路徑（可用于更細(xì)粒度控制）。
Sitemap: 網(wǎng)站地圖的完整URL地址（可直接寫在robots.txt里，利于爬蟲發(fā)現(xiàn)）。
示例文件：
User-agent: *
Disallow: /search/
Disallow: /cart/
Allow: /
Sitemap: https://www.example.com/sitemap.xml
三、注意事項(xiàng)與常見誤區(qū)
|
錯(cuò)誤做法 |
正確做法 |
|
把重要頁面Disallow了 |
只屏蔽不想被抓取的非核心內(nèi)容 |
|
屏蔽JS和CSS |
搜索引擎需讀取JS/CSS理解頁面結(jié)構(gòu) |
|
忘了指定Sitemap位置 |
在robots.txt中注明sitemap地址 |
|
誤將404頁面設(shè)為Disallow |
404本身應(yīng)被識別，無需特別屏蔽 |
四、什么是網(wǎng)站地圖（Sitemap）？
網(wǎng)站地圖（XML格式）是列出網(wǎng)站所有重要頁面的清單，方便搜索引擎系統(tǒng)性地抓取內(nèi)容，特別適合大型網(wǎng)站、更新頻繁或結(jié)構(gòu)復(fù)雜的網(wǎng)站。
? 有了 Sitemap，能帶來什么？
- 提高新頁面收錄速度
- 避免重要頁面被遺漏
- 提供頁面最后更新時(shí)間、優(yōu)先級等提示
- 對結(jié)構(gòu)復(fù)雜、不容易通過內(nèi)鏈發(fā)現(xiàn)的內(nèi)容尤為重要
五、Sitemap 怎么做？
1. 生成方式
使用SEO插件（如 Yoast SEO、Rank Math）
使用工具自動(dòng)生成（如 XML-sitemaps.com）
自建動(dòng)態(tài)生成腳本（適合大站）
2. 提交方式
將 Sitemap 鏈接寫入 Robots.txt 文件中
登錄 Google Search Console，手動(dòng)提交 Sitemap 地址
同理，Bing Webmaster Tools 也可提交
示例 sitemap.xml 內(nèi)容：
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.example.com/</loc>
<lastmod>2025-05-01</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://www.example.com/blog/seo-basics</loc>
<lastmod>2025-05-10</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
六、Robots.txt 與 Sitemap 配合使用建議
Robots.txt 不應(yīng)屏蔽 Sitemap 文件路徑
Sitemap 中不應(yīng)列出被 robots.txt 屏蔽的頁面
Sitemap 是主動(dòng)“推薦”，Robots.txt 是“限制”，兩者功能互補(bǔ)
七、適合配置 Robots.txt 和 Sitemap 的網(wǎng)站類型
企業(yè)官網(wǎng)：編寫基礎(chǔ)的robots.txt+提交sitemap
電商網(wǎng)站：屏蔽重復(fù)路徑、篩選頁+細(xì)化Sitemap
內(nèi)容型網(wǎng)站：Sitemap列出所有內(nèi)容頁+標(biāo)注更新日期
獨(dú)立站/博客：自動(dòng)生成插件+明確Sitemap結(jié)構(gòu)
