在尖叫青蛙 SEO蜘蛛是一個(gè)網(wǎng)站爬蟲(chóng)，允許你抓取網(wǎng)站的網(wǎng)址，并獲取關(guān)鍵元素現(xiàn)場(chǎng)分析現(xiàn)場(chǎng)搜索引擎優(yōu)化。免費(fèi)下載，或購(gòu)買(mǎi)許可證以獲得更多高級(jí)功能。

SEO Spider是一個(gè)功能強(qiáng)大且靈活的網(wǎng)站爬蟲(chóng)，能夠有效地抓取小型和超大型網(wǎng)站，同時(shí)允許您實(shí)時(shí)分析結(jié)果。它收集關(guān)鍵的現(xiàn)場(chǎng)數(shù)據(jù)，以便SEO能夠做出明智的決策。
 

立即抓取網(wǎng)站并找到損壞的鏈接(404s)和服務(wù)器錯(cuò)誤。批量導(dǎo)出要修復(fù)的錯(cuò)誤和源URL，或發(fā)送給開(kāi)發(fā)人員。

審核重定向查找臨時(shí)和永久重定向，識(shí)別重定向鏈和循環(huán)，或上傳URL列表以在站點(diǎn)遷移中進(jìn)行審核。

分析頁(yè)面標(biāo)題和元數(shù)據(jù)在抓取過(guò)程中分析頁(yè)面標(biāo)題和元描述，并識(shí)別網(wǎng)站中過(guò)長(zhǎng)，短缺，缺失或重復(fù)的內(nèi)容。

發(fā)現(xiàn)重復(fù)內(nèi)容使用md5算法檢查發(fā)現(xiàn)完全重復(fù)的URL，部分重復(fù)的元素(如頁(yè)面標(biāo)題，描述或標(biāo)題)以及查找低內(nèi)容頁(yè)面。

使用XPath提取數(shù)據(jù)使用CSS Path，XPath或regex從網(wǎng)頁(yè)的HTML中收集任何數(shù)據(jù)。這可能包括社交元標(biāo)記，其他標(biāo)題，價(jià)格，SKU或更多!

審查機(jī)器人和指令查看被robots.txt，元機(jī)器人或X-Robots-Tag指令阻止的網(wǎng)址，例如'noindex'或'nofollow'，以及規(guī)范和rel =“next”和rel =“prev”。

生成XML站點(diǎn)地圖快速創(chuàng)建XML站點(diǎn)地圖和圖像XML站點(diǎn)地圖，通過(guò)URL進(jìn)行高級(jí)配置，包括上次修改，優(yōu)先級(jí)和更改頻率。

與Google Analytics集成連接到Google AnalyticsAPI并針對(duì)抓取獲取用戶(hù)數(shù)據(jù)，例如會(huì)話(huà)或跳出率和轉(zhuǎn)化次數(shù)，目標(biāo)，交易和抓取頁(yè)面的收入。

抓取JavaScript網(wǎng)站使用集成的Chromium WRS渲染網(wǎng)頁(yè)，以抓取動(dòng)態(tài)的，富含JavaScript的網(wǎng)站和框架，例如Angular，React和Vue.js.

可視化站點(diǎn)架構(gòu)

使用交互式爬網(wǎng)和目錄強(qiáng)制導(dǎo)向圖和樹(shù)形圖站點(diǎn)可視化評(píng)估內(nèi)部鏈接和URL結(jié)構(gòu)。

下載地址：https://www.screamingfrog.co.uk/seo-spider/

軟件官網(wǎng)是https://www.screamingfrog.co.uk/seo-spider/官網(wǎng)售價(jià)是149英鎊/年，相信懂匯率換算的小伙伴們都知道，這價(jià)格可不低了，相當(dāng)于一年要1300多元的人民幣，所以，重慶網(wǎng)站建設(shè)小編為大家分享的是破解版可使用的版本。

當(dāng)然，軟件也有免費(fèi)版本，不過(guò)唯一最大的區(qū)別就是免費(fèi)版的一次性最多只能抓取500條鏈接，而收費(fèi)版的不限制。接下來(lái)小編為大家?guī)?lái)簡(jiǎn)單的使用方法。

1. 下載解壓完成后，點(diǎn)擊安裝好軟件，一直下一步；

2. 安裝完成后，打開(kāi)軟件，點(diǎn)擊Licence,出現(xiàn)兩個(gè)下拉，選擇第二個(gè)Enter Licence，此時(shí)出現(xiàn)一個(gè)對(duì)話(huà)框；

   

3. 在解壓的文件夾中找到（Keygen獲取破解碼）文件，運(yùn)行Keygen.exe，就會(huì)出現(xiàn)用戶(hù)名跟密碼，復(fù)制粘貼到第二步中出現(xiàn)的對(duì)話(huà)框，點(diǎn)擊確定即可。

    

    

   

至此，screamingfrog軟件就按照破解完成，大家就可以無(wú)限量的提取全站的URL了，當(dāng)然，還有其他更多的方法，比如會(huì)操作數(shù)據(jù)庫(kù)的小伙伴們可以直接從數(shù)據(jù)庫(kù)中提取也是一種方便快捷的方法。