如何编写网站robots.txt文件
为主的祥助 2017-05-18 1604℃ 0评论 2喜欢
Robots协议全称是网络爬虫排除标准”（Robots Exclusion Protocol），叫爬虫协议或机器人协议，也可戏称萝卜丝协议，用户告诉搜索引擎爬虫网站哪些页面可以被抓...标签：robots.txt
为主的祥助 2017-05-18 1604℃ 0评论 2喜欢
Robots协议全称是网络爬虫排除标准”（Robots Exclusion Protocol），叫爬虫协议或机器人协议，也可戏称萝卜丝协议，用户告诉搜索引擎爬虫网站哪些页面可以被抓...