谁告诉我robots.txt如何禁止搜索引擎抓取index.php#!u=714E09CC1C361DAE6D71EC0424EF42C618B2E1D0？
发布网友
发布时间：2022-04-23 13:11
共1个回答
热心网友
时间：2023-10-15 01:19
你好，下面是我的回答请采纳吧！
最简单的robots.txt文件使用以下两条规则：
User-agent：应用以下规则的漫游器
Disallow：您要拦截的网址
这两行被视为文件中的一个条目。您可根据需要添加任意多个条目。您可在一个条目中添加多个Disallow行和多个User-agent。
robots.txt 文件的各个部分都是的，而不是在先前部分的基础上构建的。例如：
User-agent: *Disallow: /folder1/
User-Agent: Googlebot
Disallow: /folder2/
在本示例中，只有与 /folder2/ 匹配的网址才不会被 Googlebot 抓取。
对于你的问题，只要在robots.txt中条件相应的代码就可以禁止搜索引擎抓取动态链接，代码如下：
Disallow: /*?具体详细的资料你可以参考我之前的一篇博客文章“robots协议”引用地址是：http://www.it-cheng.com/blog/seo/153.html
热心网友
时间：2023-10-15 01:19
你好，下面是我的回答请采纳吧！
最简单的robots.txt文件使用以下两条规则：
User-agent：应用以下规则的漫游器
Disallow：您要拦截的网址
这两行被视为文件中的一个条目。您可根据需要添加任意多个条目。您可在一个条目中添加多个Disallow行和多个User-agent。
robots.txt 文件的各个部分都是的，而不是在先前部分的基础上构建的。例如：
User-agent: *Disallow: /folder1/
User-Agent: Googlebot
Disallow: /folder2/
在本示例中，只有与 /folder2/ 匹配的网址才不会被 Googlebot 抓取。
对于你的问题，只要在robots.txt中条件相应的代码就可以禁止搜索引擎抓取动态链接，代码如下：
Disallow: /*?具体详细的资料你可以参考我之前的一篇博客文章“robots协议”引用地址是：http://www.it-cheng.com/blog/seo/153.html
