洞悉互聯(lián)網(wǎng)前沿資訊,探尋網(wǎng)站營(yíng)銷(xiāo)規(guī)律
作者:狐靈科技 | 2020-03-31 17:32 |點(diǎn)擊:
主要注意的幾點(diǎn):
1.關(guān)閉強(qiáng)制https跳轉(zhuǎn),在工具內(nèi)填寫(xiě)http協(xié)議的首頁(yè)
2.使用工具的自動(dòng)替換將http在替換成https即可
3.加一個(gè)替換規(guī)則
4.每頁(yè)生成的url數(shù)量最好修改成2000
具體截圖:
最后將爬取完的文件命名為 sitemap.xml 放在網(wǎng)站/public 目錄下,這樣你的地圖地址就是https://的域名/sitemap.xml
例如:http://www.aicontent.cn/sitemap.xml
將這個(gè)地址添加到各大搜索引擎即可.
同時(shí)還可以添加到robots.txt文件中,如下:
User-agent: *
Disallow:
Sitemap: https://你的域名/sitemap.xml
請(qǐng)直接添加技術(shù)總監(jiān)微信聯(lián)系咨詢(xún)