如何编写网站robots.txt文件
为主的祥助 2017-05-18 1966℃ 0评论 2喜欢
Robots协议全称是网络爬虫排除标准”(Robots Exclusion Protocol),叫爬虫协议或机器人协议,也可戏称萝卜丝协议,用户告诉搜索引擎爬虫网站哪些页面可以被抓...为主的祥助 2017-05-18 1966℃ 0评论 2喜欢
Robots协议全称是网络爬虫排除标准”(Robots Exclusion Protocol),叫爬虫协议或机器人协议,也可戏称萝卜丝协议,用户告诉搜索引擎爬虫网站哪些页面可以被抓...