Back to Question Center
0

Semalt:robots.txt:阻止除少数网页外的所有网页?

1 answers:

关于机器人我有一些疑问. txt. 说,我的域名是计算器. com

A)下面的代码是否会为所有爬虫执行以下操作?

用户代理:*不允许: /允许:/ $
允许:/ a / $
允许:/ a /登录. PHP
允许:/ a /登录. PHP?返回= /的Pligg /
  1. 接受http:// stackoverflow. com /会接受http:// stackoverflow. com呢?

  2. 接受http:// stackoverflow. com / a /

  3. 接受http:// stackoverflow. COM / A /登录. php

  4. 接受http:// stackoverflow. COM / A /登录. php?return = / pligg /

  5. 不接受http:// stackoverflow上的任何其他页面. com

B)哪个是对的:机器人. txt机器人. txt

6 days ago
Semalt:robots.txt:阻止除少数网页外的所有网页?
Reply