WordPress主题站创建robots.txt

WordPress主题站为了更好的进行优化，那么我们就需要为主题站多站点创建添加多样的robots协议，让蜘蛛爬行知道什么该抓取，什么不该抓取，下面就分享关于通过robots_txt钩子生成虚似的robots.txt文件URL的方法： 

新安装wordpress站点，没有禁止蜘蛛爬行，启用伪静态后，访问地址http://*****/robots.txt，会返回下面的结果：

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

这是WordPress默认的robots.txt内容。如果想添加更多的规则，可以在当前使用的主题中添加下面的代码：

如果想添加更多的规则，就在当前使用的主题中添加下面的代码：

function robots_mod( $output, $public ) {

$output .= "Disallow: /feed\n";

$output .= "Disallow: /trackback\n";

return $output;

}

add_filter( 'robots_txt', 'robots_mod', 10, 2 );

上面代码返回的结果是：

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Disallow:/feed

Disallow: /trackback

如果不想要默认的robots.txt内容，则可以这样写

function robots_mod( $output, $public ) {

$output = "User-agent: *\n";

$output .= "Disallow: /feed\n";

$output .= "Disallow: /trackback\n";

return $output;

}

add_filter( 'robots_txt', 'robots_mod', 10, 2 );