18、sitemap：如何讓搜索引擎抓取到所有頁(yè)面
Sitemap的意思就是把網(wǎng)站上的所有鏈接都放到一個(gè)文件里，方便搜索引擎來(lái)抓取，促進(jìn)網(wǎng)站收錄，有的網(wǎng)站鏈接層次太深了，不容易被收錄，所以就要設(shè)置sitemap把網(wǎng)站鏈接提交給搜索引擎。
1、sitemap的地址是http://www.czwr168.com/sitemap.txt，這個(gè)鏈接下面有這個(gè)網(wǎng)站的所有網(wǎng)址，如下圖：
2、網(wǎng)站地圖生成完了以后，怎么讓搜索引擎知道網(wǎng)站地圖在這個(gè)地方呢？這時(shí)我們就需要在網(wǎng)站的robots.txt里面添加一個(gè)網(wǎng)站地圖的地址，如下圖，搜索引擎來(lái)抓取我們網(wǎng)站的時(shí)候，第一時(shí)間是抓取robots文件，從robots文件里面可以獲取網(wǎng)站地圖地址，在網(wǎng)站地圖地址里面就可以抓取到我們網(wǎng)站的所有鏈接。
3、第二個(gè)添加網(wǎng)站地圖的地方是百度資源平臺(tái)里面，在這里面提交sitemap網(wǎng)站地圖。
