暖石网
【暖石网改价通知】10月31日晚22点,现3580套餐将下架停售。31日晚22点前购买3580套餐的同学,仍可正常享受现3580套餐的一切学习服务。
nuanshi
登录 | 注册
学员问答    >    查看问答
老师,如果在搜索引擎禁止爬虫去爬某一目录,但是爬虫还是爬了,会不会违法?禁止所有引擎爬虫抓取任何内容,那是不是没有必要再搞优化了?
黑芝麻糊 2016-05-16 10:22
相关课程:实操课程系列 > SEO > 了解禁止收录机制
下一条问答 / 上一条问答
牛小kk 2016-05-16 14:59

你禁止爬了,爬虫应该不会去爬了,爬虫是程序,不是人,你forbid,他就不会继续go on了。如果禁止抓取,任何内容,确实没必要搞优化了。因为有些网站,不需要优化也不想让爬虫去爬取,比如一个大公司的职工OA系统,就是内部人用,所以没必要优化

这个问答对你有帮助吗?
有帮助