暖石网
【改价通知】现3580转行求职套餐,将于10月31日晚22点下架停售。现在购买,仍可享受套餐下所有学习服务,点击立即抢购!
nuanshi
登录 | 注册
学员问答    >    查看问答
老师,请问下。如果在sitemap中,添加的只是主页面链接,例如www.nuanshi100.com,那么爬虫会根据主链接向下爬吗?如果会的话,我直接在sitemap中添加主链接就好了,不需要添加其他页面链接吧?
mranarchy 2016-05-23 18:30
相关课程:实操课程系列 > SEO > 网站地图
下一条问答 / 上一条问答
牛小kk 2016-05-24 10:04

你说的道理是没有错的,但是权重不同的网站,爬虫爬的深度也是不同,而且一个网站链接结构有多少层这个也是不确定的,如果只写一个www.nuanshi100.com,我们无法保证爬虫能够遍历所有页面,比如暖石发布了一个学习总结的页面,内容很好但是这个页面链接从站内无法访问到,我们仅仅是把链接丢到所有会员群里,那爬虫是不知道有这个新链接的,所以sitemap尽可能放所有链接还是有利无害的

这个问答对你有帮助吗?
有帮助