百度只抓取网站首页,不收录内页,搜索引擎收录少的解决办法

0
18
意见

网站从上线到现在有一个月了,但是百度和360收录一直只有首页,谷歌收录有50,没有内页就一直很奇怪,之前一直以为是关键词优化问题,想着才上线跟新估计是这样的。但是后来发现其他比我上线晚优化一般的网站收录虽然不多,但是会有内页。在百度历史收录记录里面发现有以前的内页记录,但是是用的第一个默认模版的时候。所以我在想是不是内页屏蔽了我所有的收录界面,结果一查果然如此。 

解决网站只收录首页,没有内页或者收录很少的办法有两种方法:

1、检查网站的robots.txt文件的设置:

robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。为了避免站长在设置robots文件时出现,百度站长平台特别推出了robots工具百度robots工具,帮助站长正确设置robots。

这个东西一般在网站的根目录下面,如果你和我一样目前使用的网上套用的模版,大部分不会有这个文件(因为不会自己给你安装到你根目录下),如果发现有不懂的话可以直接干掉。

26121520772677 - 百度只抓取网站首页,不收录内页,搜索引擎收录少的解决办法 - 居家帝,享受生活,生活常识,生活知识,生活技能,居家旅行必备,jujia


2、检查文件中head部分的声明标签:

首先看看有没有这个标签样式:<meta name="robots" content="">

然后再看看你们的样式是如何写的:

robots Meta标签是放在网页中,一般用于部分网页需要单独设置的情况下。

robots.txt文件两者的功能是一样的。

Meta robots标签必须放在<head>和</head>之间,格式: <meta name="robots" content="index,follow" />

后来检查模版的文件中在head.php文件中确实也申明了以下文件:<meta name="robots" content="index,nofollow" />,所以只会抓取了首页不会在继续往下跟踪


3、下面来详细介绍下这个<meta name="robots" content="">申明的内容:

content中的值决定允许抓取的类型,必须同时包含两个值:

是否允许索引(index)和是否跟踪链接(follow,也可以理解为是否允许沿着网页中的超级链接继续抓取)。共有4个参数可选,组成4个组合:

index,follow:允许抓取本页,允许跟踪链接。

index,nofollow:允许抓取本页,但禁止跟踪链接。

noindex,follow:禁止抓取本页,但允许跟踪链接。

noindex,nofllow:禁止抓取本页,同时禁止跟踪本页中的链接。

根据这个可以写出四种组合

<meta name="robots" content="index,follow" />:可以抓取本页,而且可以顺着本页继续索引别的链接

<meta name="robots" content="noindex,follow" />:不许抓取本页,但是可以顺着本页抓取索引别的链接

<meta name="robots" content="index,nofollow" />:可以抓取本页,但是不许顺着本页抓取索引别的链接

<meta name="robots" content="noindex,nofollow" />:不许抓取本页,也不许顺着本页抓取索引别的链接。 

可以分开写也可以合并以上1和4还有另一种写法:

index,follow可以写成all,如:<meta name="robots" content="all" />

noindex,nofollow可以写成none,如:<meta name="robots" content="none" />

 

最后,建议大家不要太刻意的在robots.txt中设置过多禁止文件或目录,只设置确实不希望被搜索引擎索引的目录和文件就可以了。如果你碰到的问题和我一样,那么你可以检查下你的网站目录是不是也有这个文件,或者申明呢?但是建议不要轻易禁止抓取毕竟我们需要的是流量。

另外补充 搜索到百度官网的教程

什么是自动推送工具?自动推送工具解决了什么问题?

自动推送JS代码是百度站长平台最新推出的轻量级链接提交组件,站长只需将自动推送的JS代码放置在站点每一个页面源代码中,当页面被访问时,页面链接会自动推送给百度,有利于新页面更快被百度发现。

为了更快速的发现站点每天产生的最新内容,百度站长平台推出主动推送工具,产品上线后,部分站长反馈使用主动推送方式的技术门槛较高,于是我们顺势推出更低成本的JS自动推送工具。一步安装便可实现页面自动推送,低成本,高收益。

自动推送代码如何安装使用?

站长需要在每个页面的HTML代码中包含以下自动推送JS代码:

<script>
(function(){
    var bp = document.createElement('script');
    var curProtocol = window.location.protocol.split(':')[0];
    if (curProtocol === 'https'){
   bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';
  }
  else{
  bp.src = 'http://push.zhanzhang.baidu.com/push.js';
  }
    var s = document.getElementsByTagName("script")[0];
    s.parentNode.insertBefore(bp, s);
})();
</script>

如果站长使用PHP语言开发的网站,可以按以下步骤操作:
1、创建名为“baidu_js_push.php”的文件,文件内容是上述自动推送JS代码;
2、在每个PHP模板页文件中的 <body> 标记后面添加一行代码:
<?php include_once("baidu_js_push.php") ?>

为什么自动推送可以更快的将页面推送给百度搜索?

基于自动推送的实现原理问题,当新页面每次被浏览时,页面URL会自动推送给百度,无需站长汇总URL再进行主动推送操作。

借助用户的浏览行为来触发推送动作,省去了站长人工操作的时间。

自动推送和主动推送有什么区别?

已经在使用链接提交里的主动推送(或sitemap)的网站还需要再部署自动推送代码吗?

二者之间互不冲突,互为补充。已经使用主动推送的站点,依然可以部署自动推送的JS代码,二者一起使用。

什么样的网站更适合使用自动推送?

自动推送由于实现便捷和后续维护成本低的特点,适合技术能力相对薄弱,无能力支持全天候实时主动推送程序的站长。

站长仅需一次部署自动推送JS代码的操作,就可以实现新页面被浏览即推送的效果,低成本实现链接自动提交。

同时,我们也支持主动推送和自动推送代码配合使用,二者互不影响。