小爬虫生成器(Sitemap及网站地图生成工具)V4.6.0 免费版软件介绍 下载地址
小爬虫生成器主要功能是生成Sitemap及网站地图,所以有了它你就可以对网站进行管理以及制作自已需要的sitemap.xml,只有自已动手才能制作出自己真正喜欢的东西,也只有它才是对自己最有用的。小爬虫生成器可以装在公司任意一台电脑上,局域网内的其它客户端电脑通过浏览器地址栏输入安装后的小爬虫服务地址比如:http://192.168.0.100:9000 进行操作使用。
V4.6.0版本说明:
小爬虫4.0新增功能:可以定义多个网址每天自动定时生成sitemap文件,到时管理员可以直接去指定文件夹下去取就行了,用不着每次更新后再去运行生成。
可以设置本次抓取的起始及终止页面数,对于大型网站尤其有用,可以用来测试断链之类的。