wordpress被蜘蛛索引好多根本不存在的页面是怎么回事以及解决的办法

死链太多，建议你在robot.txt中禁止收录那些没用的页面，对你的网站非常不好

创新互联公司是一家集成都网站制作、做网站、外贸营销网站建设、网站页面设计、网站优化SEO优化为一体的专业的建站公司，已为成都等多地近百家企业提供网站建设服务。追求良好的浏览体验,以探求精品塑造与理念升华,设计最适合用户的网站页面。 合作只是第一步，服务才是根本,我们始终坚持讲诚信，负责任的原则，为您进行细心、贴心、认真的服务,与众多客户在蓬勃发展的市场环境中,互促共生。

WordPress怎么查看蜘蛛来访记录

新建一个.php文件并把它命名为spider，把以下代码复制到文件里；

?php

functionget_naps_bot()

{

$useragent =strtolower($_SERVER['HTTP_USER_AGENT']);

if(strpos($useragent,'googlebot')!==false){

return'Googlebot';

}

if(strpos($useragent,'msnbot')!==false){

return'MSNbot';

}

if(strpos($useragent,'slurp')!==false){

return'Yahoobot';

}

if(strpos($useragent,'baiduspider')!==false){

return'Baiduspider';

}

if(strpos($useragent,'sohu-search')!==false){

return'Sohubot';

}

if(strpos($useragent,'lycos')!==false){

return'Lycos';

}

if(strpos($useragent,'robozilla')!==false){

return'Robozilla';

}

returnfalse;

}

functionnowtime(){

$date=gmdate("Y-n-j H:i:s",time()+8*3600);

return$date;

}

$searchbot =get_naps_bot();

if($searchbot){

$tlc_thispage =addslashes($_SERVER['HTTP_USER_AGENT']);

$url=$_SERVER['HTTP_REFERER'];

$file="spiderlogs.txt";

$time=nowtime();

$data=fopen($file,"a");

fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispagen");

fclose($data);

}

?

2

把制作好的spider.php文件上传至主题根目录中（注意不是网站根目录）；

3

把以下代码复制在主题的footer.php里面（后台—外观—编辑—footer.php），我是放在最下面；

!--?php include('spider.php') ?--!--蜘蛛记录--

4

查看方法：浏览器访问，把域名换成你的就可以了。（注：也可以查看网站根目录里面的spiderlogs.txt文件），

wordpress网站同意蜘蛛收录怎么改代码

要使Wordpress网站同意蜘蛛收录，需要修改 Robots.txt 文件，让它不再阻挡网站页面被搜索引擎抓取。

Robots.txt文件位于Wordpress网站根目录下。在文件中，要添加以下代码：

User-agent: *

Allow: /

上面的代码表示，允许所有的蜘蛛抓取网站的所有页面。

wordpress怎么限制蜘蛛收录指定文章

有很多站长朋友的个人wordpress博客或者是其他站点，在php空间中安装之后设置了文章保护措施，那就是文章加密，可能有一些隐私不外公布，或者是收费的标准，而这些文章只要在站点上面挂着，没有任何的设置，可能就会被蜘蛛给收取，但是站长朋友们不想让这样的事情发生，而要禁止蜘蛛的收录，来达到他们的愿望。

今天无忧主机小编在上班的时候就遇到这样的事情的发生，可能是有预感吧，小编当时还认为看的这篇资料应该会有很多的站长朋友都知道，可是让无忧主机小编很是无奈，原因很简单，因为站长朋友们搞不清楚，哪个文章有作用还是没有作用，所以急需要小编来看看，还好无忧主机小编懂那么一点点，给站长朋友讲解之后，他们也相信，此做法呢是非常之有效，所以呢，无忧主机小编就写下这篇文章，希望能帮助更多的站长朋友！

找到主题目录下：functions.php，移到最后有一个php结束符号?,然后把一下代码复制进去：

?

view code

1

2

3

4

5

6

7

function password_noindex_header() {

global $post;

if (!empty($post-post_password)) {

echo 'meta name="robots" content="noindex"'."\n";

}

}

add_action('wp_head', 'password_noindex_header');

如果您所用的主题有专门seo文件，就到目录includes/seo.php在is_page之前有一个?php}?,那么就在?php之后加入一下代码：

?

view code

1

2

3

if (!empty($post-post_password)) {

echo 'meta name="robots" content="noindex" /'."\n";

}

好了，这样我们就成功了设置密码文章蜘蛛不能收录的问题。

标题名称：wordpress蜘蛛 word蜘蛛网图
浏览地址：http://chengdu.cdxwcx.cn/article/dohgicg.html