robots 协议有什么用处?

Robots 协议:网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

发表评论

后才能评论