暖石网
nuanshi

首页 > 转行运营系统课 > 网站链接结构

网站链接结构

做网站优化之前,先要了解一个网站的链接结构是什么样的,搜索引擎的爬虫来了如何通过网站链接来爬取

网站链接结构7分5秒
做网站优化之前,先要了解一个网站的链接结构是什么样的,搜索引擎的爬虫来了如何通过网站链接来爬取
课程问答
沙渐冰峰 ,没有签名 2017-09-17 21:28
这个网站链接结构相当于网站地图吗?
louise 2017-09-18 17:49

可以这么理解。所谓网站地图,就是将网站的链接结构呈现给搜索引擎及网站浏览者的一系列代码。但是对于部分网站,网站的sitemap会更丰富,可以包含没有包含在链接结构里面的地址。

2人觉得有帮助 有帮助

爬虫爬不用遵循树状结构路径吗?可以横着爬?希望不会觉得我问的问题白痴,啊哈哈哈。

小金牛- 2019-04-28 09:36

同学你好,是遵循树状结构,按照横向和纵向2中方式爬取。

1人觉得有帮助 有帮助

如果网站结构是网状的呢?比如子栏目和子栏目之前的链接打通,是不是比纯树状的更容易收录?

牛小kk 2018-11-29 23:08

子栏目与子栏目打通,对于搜索引擎取决于爬去策略,比如采用深度策略,那么会从一个子栏目往深里继续爬其他子栏目,搜索引擎爬过的子栏目不会被再次爬,所以网状结构并没有明显比纯树状更容易收录

1人觉得有帮助 有帮助

上面所说的两种爬取策略,都是要人为点击才可以进行爬取是吗?还是说爬虫会自动进入你的所有链接爬取

牛小kk 2018-11-28 17:25

不是人为点击的。这个是搜索引擎爬取策略,按着某一个方式去爬取

0人觉得有帮助 有帮助
Flume ,18届毕业生 2018-11-21 22:27

会出现在搜狗搜索引擎能搜到的内容却在百度搜索里面搜索不到的情况吗?每个搜索引擎的爬虫信息抓取目标的内容量是不是都是一样的,就是所有存在互联网上的信息和内容?而不同搜索引擎搜索同样的词出现不同的内容是因为爬虫工作机制的不同?不知道我的理解是否正确

牛小kk 2018-11-22 12:39

理解正确。

1 会出现a引擎收录,b引擎却没收录,所有在a搜索到,在b却搜索不到。

2 每家搜索引擎的爬虫原理大致相同,但细节机制或者规则不同,会出现抓取内容不同,收录不同,搜索结果排序不同的现象。

0人觉得有帮助 有帮助
夏霖风 ,知行合一 2018-11-07 18:22

前面留言区有同学讨论wordpress,请问有相关课程吗?

牛小kk 2018-11-08 12:11

Wordpress课程已经下线了

夏霖风 2018-11-08 18:53
期待后期上线
0人觉得有帮助 有帮助

请问深度优先策略是指竖向的,而广度优先策略是指横向的吗?谢谢!

牛小kk 2018-05-19 11:52

对,理解正确。深度即为纵向,广度即为横向

游鱼飞天 2018-05-19 14:01
谢谢!
0人觉得有帮助 有帮助
层数需要控制在6层以内,那栏目数呢,有这个大概的数值吗?
louise 2017-08-25 11:30

首先的一个前提是不要为了SEO而SEO。网站的层数或者是栏目数,我认为需要根据你的产品和你的网站的用户需求来确定,这个是前提,产品和用户优先。其次网站优化里面要考虑SEO的话,对于站内的结构考虑如何合理规划站点结构,可以使用扁平化结构,辅助导航、面包屑导航、次导航等。

考虑这个层数和栏目数的时候,只需要考虑的是搜索引擎的爬虫对链接的触达是否方便。比如如果你的栏目链接都是在首页,那爬虫爬首页的时候,直接直接获取到链接,到达下一个路径。所以这个没有数值上的的一个理论值,搜索引擎的爬虫对链接的触达是否方便。

0人觉得有帮助 有帮助
老师,爬虫能不能同步并行爬行不同的子页面?
牛小kk 2017-08-17 09:09

可以的

0人觉得有帮助 有帮助
leez ,从无到有 2017-05-30 13:33
老师你好,我有2个问题:1.如果爬虫是从网站子栏目进入的,它还会返回首页或去到其他子栏目吗?2.假如网站有6层树形结构,爬虫都会爬到最深的一层吗?如果不会,它爬多深是随机的还是有一定根据的?
牛小kk 2017-05-30 21:55

1 进入子栏目,如果子栏目的导航清晰,爬虫依然可以到首页或者其他子栏目的。

2 如果有6层,那么不一定会爬到最深。如果你的权重越高,当然爬虫会爬的更深。所以高权重,内容多的网站,一般都层数深也都会被抓取的。

0人觉得有帮助 有帮助
如何知道自己网站的PR值是多少?PR值可以通过什么方式增加?
馒头老师 2017-02-16 11:04

PR值可以通过站长之家这类工具查询,PR值的计算方法比较复杂,一般的SEO手段,比如交换友链,增加网站内容这些工作可能会增加PR值。

0人觉得有帮助 有帮助
老师,为什么只能看到最近两个月的课程提问呢?可以看到之前那些同学的提问么?因为觉得有些问题问得很好呢
馒头老师 2016-07-16 23:38

课程提问上线时间也才两三个月

0人觉得有帮助 有帮助
老师,求拉进超级vip群,加了没反应。。我的q号:3439084691 学习了200多节课了继续ing,希望加入群和小伙伴们更多交流!
馒头老师 2016-06-30 17:18

1个会员只加一个群,你已经加群了

0人觉得有帮助 有帮助
老师,您好,网站内图片上的文字 爬虫也可以爬到么
牛小kk 2016-05-19 22:24

图片上的文字,我们人类看一张图可以看到图片的文字,爬虫看到仅仅是一个图片地址(就是一个字符串),它并不知道图片是什么内容,有什么文字

0人觉得有帮助 有帮助
老师,你好,爬虫只能从网站首页开始爬吗?还是也可以从子栏目去爬呢?
牛小kk 2016-05-15 17:48

看爬虫如何到你的网站,比如爬虫主动来到你的网站那肯定从首页开始的。如果爬虫是通过其他网站的友链来到你的网站,那看你的友链放的什么,你放到子栏目的url,那爬虫过来就访问的是子栏目的页面。

0人觉得有帮助 有帮助

网站链接结构

做网站优化之前,先要了解一个网站的链接结构是什么样的,搜索引擎的爬虫来了如何通过网站链接来爬取

< 返回课程表
展开全部
课程问答
2017-09-17 21:28
这个网站链接结构相当于网站地图吗?
louise 2017-09-18 17:49

可以这么理解。所谓网站地图,就是将网站的链接结构呈现给搜索引擎及网站浏览者的一系列代码。但是对于部分网站,网站的sitemap会更丰富,可以包含没有包含在链接结构里面的地址。

2人觉得有帮助 有帮助

爬虫爬不用遵循树状结构路径吗?可以横着爬?希望不会觉得我问的问题白痴,啊哈哈哈。

小金牛- 2019-04-28 09:36

同学你好,是遵循树状结构,按照横向和纵向2中方式爬取。

1人觉得有帮助 有帮助

如果网站结构是网状的呢?比如子栏目和子栏目之前的链接打通,是不是比纯树状的更容易收录?

牛小kk 2018-11-29 23:08

子栏目与子栏目打通,对于搜索引擎取决于爬去策略,比如采用深度策略,那么会从一个子栏目往深里继续爬其他子栏目,搜索引擎爬过的子栏目不会被再次爬,所以网状结构并没有明显比纯树状更容易收录

1人觉得有帮助 有帮助

上面所说的两种爬取策略,都是要人为点击才可以进行爬取是吗?还是说爬虫会自动进入你的所有链接爬取

牛小kk 2018-11-28 17:25

不是人为点击的。这个是搜索引擎爬取策略,按着某一个方式去爬取

0人觉得有帮助 有帮助
2018-11-21 22:27

会出现在搜狗搜索引擎能搜到的内容却在百度搜索里面搜索不到的情况吗?每个搜索引擎的爬虫信息抓取目标的内容量是不是都是一样的,就是所有存在互联网上的信息和内容?而不同搜索引擎搜索同样的词出现不同的内容是因为爬虫工作机制的不同?不知道我的理解是否正确

牛小kk 2018-11-22 12:39

理解正确。

1 会出现a引擎收录,b引擎却没收录,所有在a搜索到,在b却搜索不到。

2 每家搜索引擎的爬虫原理大致相同,但细节机制或者规则不同,会出现抓取内容不同,收录不同,搜索结果排序不同的现象。

0人觉得有帮助 有帮助
2018-11-07 18:22

前面留言区有同学讨论wordpress,请问有相关课程吗?

牛小kk 2018-11-08 12:11

Wordpress课程已经下线了

夏霖风 2018-11-08 18:53
期待后期上线
0人觉得有帮助 有帮助

请问深度优先策略是指竖向的,而广度优先策略是指横向的吗?谢谢!

牛小kk 2018-05-19 11:52

对,理解正确。深度即为纵向,广度即为横向

游鱼飞天 2018-05-19 14:01
谢谢!
0人觉得有帮助 有帮助
层数需要控制在6层以内,那栏目数呢,有这个大概的数值吗?
louise 2017-08-25 11:30

首先的一个前提是不要为了SEO而SEO。网站的层数或者是栏目数,我认为需要根据你的产品和你的网站的用户需求来确定,这个是前提,产品和用户优先。其次网站优化里面要考虑SEO的话,对于站内的结构考虑如何合理规划站点结构,可以使用扁平化结构,辅助导航、面包屑导航、次导航等。

考虑这个层数和栏目数的时候,只需要考虑的是搜索引擎的爬虫对链接的触达是否方便。比如如果你的栏目链接都是在首页,那爬虫爬首页的时候,直接直接获取到链接,到达下一个路径。所以这个没有数值上的的一个理论值,搜索引擎的爬虫对链接的触达是否方便。

0人觉得有帮助 有帮助
老师,爬虫能不能同步并行爬行不同的子页面?
牛小kk 2017-08-17 09:09

可以的

0人觉得有帮助 有帮助
2017-05-30 13:33
老师你好,我有2个问题:1.如果爬虫是从网站子栏目进入的,它还会返回首页或去到其他子栏目吗?2.假如网站有6层树形结构,爬虫都会爬到最深的一层吗?如果不会,它爬多深是随机的还是有一定根据的?
牛小kk 2017-05-30 21:55

1 进入子栏目,如果子栏目的导航清晰,爬虫依然可以到首页或者其他子栏目的。

2 如果有6层,那么不一定会爬到最深。如果你的权重越高,当然爬虫会爬的更深。所以高权重,内容多的网站,一般都层数深也都会被抓取的。

0人觉得有帮助 有帮助
如何知道自己网站的PR值是多少?PR值可以通过什么方式增加?
馒头老师 2017-02-16 11:04

PR值可以通过站长之家这类工具查询,PR值的计算方法比较复杂,一般的SEO手段,比如交换友链,增加网站内容这些工作可能会增加PR值。

0人觉得有帮助 有帮助
老师,为什么只能看到最近两个月的课程提问呢?可以看到之前那些同学的提问么?因为觉得有些问题问得很好呢
馒头老师 2016-07-16 23:38

课程提问上线时间也才两三个月

0人觉得有帮助 有帮助
老师,求拉进超级vip群,加了没反应。。我的q号:3439084691 学习了200多节课了继续ing,希望加入群和小伙伴们更多交流!
馒头老师 2016-06-30 17:18

1个会员只加一个群,你已经加群了

0人觉得有帮助 有帮助
老师,您好,网站内图片上的文字 爬虫也可以爬到么
牛小kk 2016-05-19 22:24

图片上的文字,我们人类看一张图可以看到图片的文字,爬虫看到仅仅是一个图片地址(就是一个字符串),它并不知道图片是什么内容,有什么文字

0人觉得有帮助 有帮助
老师,你好,爬虫只能从网站首页开始爬吗?还是也可以从子栏目去爬呢?
牛小kk 2016-05-15 17:48

看爬虫如何到你的网站,比如爬虫主动来到你的网站那肯定从首页开始的。如果爬虫是通过其他网站的友链来到你的网站,那看你的友链放的什么,你放到子栏目的url,那爬虫过来就访问的是子栏目的页面。

0人觉得有帮助 有帮助
零基础转行系统课