如何抓取网站全部的url链接，如何用工具生成sitemap地图

抓取网站的全部链接是每一个做SEO人的必备的技能，现在很多人都不知道如何去抓取一个网站全部的url，今天小编来总结一下，这需要运用到一款工具来抓取，这个工具就叫做，ScreamingFrogSEOSpider，非常好用的实用工具，用法如下。

工具是178美元一年，现在技术人员研发出来了破解补丁，可以随便使用，使用方法截图如下。

这就是打开之后的第一界面

这里输入专业人员研发的破解文件输入

输入域名然后点击star，在filter上面筛选html，因为所有的东西都能抓出来，包括图片，css，js都可以抓取到。

这里可以抓取到网站的sitemap地图，可以提交百度方便抓取。ctrl+A复制所有的链接到excle表上，然后复制到txt文档里面就可以抓取到全站url了，是我见过最快的抓取方法。

这就是我给大家推荐的ScreamingFrogSEOSpider抓取全站url方法，适合各类网站，如果不激活只能抓取5个。如果激活了有多少都可以抓多少。有需要的人可以联系我我可以免费分享给大家。

标签：