WordPress知晓蜘蛛爬行过程的重要性

WordPress主题站开发出来的目的是为了优化网站，使更多的用户流量涌入主题站，所以主题站创作的文章就需要被蜘蛛爬行有效的抓取，那么我们知晓蜘蛛爬行过程就可以按照爬行过程中的规则进行符合的文章编写，为主题站更好的进行优化：

将下方代码放入function.php文件

function get_naps_bot(){

$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);

if (strpos($useragent, 'googlebot') !== false){

return 'Googlebot';

}

if (strpos($useragent, 'msnbot') !== false){

return 'MSNbot';

}

if (strpos($useragent, 'slurp') !== false){

return 'Yahoobot';

}

if (strpos($useragent, 'baiduspider') !== false){

return 'Baiduspider';

}

if (strpos($useragent, 'sohu-search') !== false){

return 'Sohubot';

}

if (strpos($useragent, 'lycos') !== false){

return 'Lycos';

}

if (strpos($useragent, 'robozilla') !== false){

return 'Robozilla';

}

return false;

}

function nowtime(){

date_default_timezone_set('Asia/Shanghai');

$date=date("Y-m-d.G:i:s");

return $date;

}

$searchbot = get_naps_bot();

if ($searchbot) {

$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);

$url=$_SERVER['HTTP_REFERER'];

$file="robotslogs.txt";

$time=nowtime();

$data=fopen($file,"a");

$PR="$_SERVER[REQUEST_URI]";

fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");

fclose($data);

}

然后在网站根目录创建 robotslogs.txt 并且给他777权限，查看统计的方式就是这样 https://域名/robotslogs.txt