关于同一个服务器下，网站二级域名robotstxt的设置，求教各位朋友！

网站内页不被收录怎么办

　如果网站首页被收录，但是网站内页不被收录，这样对网站优化来说，也是极为不利的。因为对于网站来说，搜索引擎只是收录网站的一个空壳。针对网站内页不被收录的情况，文章将进行几点。

　一、内页在审核期

　内页在搜索引擎显示，并不能说明百度没有收录。有时候或许百度己经对内页收录，但还没被放出来。因为百度对文章的收录也是需要审核时间的，蛛蛛抓成功的索引内容会录入到数据库，这也是需要经过二次的审查是否被判为SPAM，然后才放出来并参于排名，具体放出的时间与网站的权重高低有着相对的直接关系，而百度周期更新时才放出收录较为常见的为新站。

　解决对策：想要内页被尽快放出来，就需要保证内容定期定量的'更新，并进行对网站日志的观察及分析。只要蛛蛛正常爬行，那么您就可以静心的等待着，百度会给你一个惊喜。

　二、robots设置问题

　robots设置情况，也会导致网站内页不受到搜索引擎的索引。如果在网站的robots设置时，对搜索引擎蜘蛛限制过多，自然搜索引擎蜘蛛也不会对网站内页进行爬行抓取。

　解决对策：检查是否语法错误屏蔽到了蛛蛛的爬行，其中有包括：meta robots与nofollow等标签的设置。

　三、内部链接存在问题

　网站内部链接不正确，对搜索引擎的抓取也会造成很大的困扰。比如，造成大量的错误链接，不良链接，蛛蛛爬行的不通畅，或根本无法抓取，那么这些不良的网址也会导致网站降权。

　解决对策：百度针对网站的首页，频道等各个重要的页面进行做错误的链接检查，会检查到留言板，评论版块，等等网友能互动的功能的不良链接，所以站长需要尽量避免不良网站互链。

　四、网站内页作弊

　如果网站内页在设置过程中，出现很多作弊手段。比如，进行黑链设置，关键词堆砌等作弊手段，自然搜索引擎蜘蛛也会减少对该种页面的抓取。

　解决对策：不做关键词堆砌，不群发，不做黑链等黑帽行为，网站保持稳定，对网站优化一步一步进行，切忌进行一些作弊行为，那样网站优化也会越来越好的。

　四、与文章的原创度相关度

　头部标签的设置会导致页面类似的重复，或者是采集的页面太多时，百度数据库中己存有大量的相似信息而不收录你，如果是长期的这样操作会导致百度降权。

　解决对策：多些保持文章的原创度(高度伪原创)质量比数量重要，最好是每天都能够定时定量的更新，这样百度对你的网站抓取也有了守时的好习惯。

　五、服务器访问情况

　如果网站服务器出现问题，比如无法访问，速度缓慢，被挂马等情况。在百度蛛蛛来索引内容时，多次识别网站有着大量的错乱码或者是遇到服务器无法访问，那么网站因由也会被列入观察名单。

　解决对策：做好网站代码优化，提高页面的读取速度，选择好安全的空间服务商，成熟的网站程序编码，并定期的更新补丁，定期对修改文件痕迹做好跟踪。

;

DEDECMS系统栏目、文章页面、分页面伪静态和域名301重定向详细方法： 

1、服务器必须支持URL重写。 

2、后台开启伪静态。 

3、栏目设置使用动态。 

4。添加文档时选择使用动态浏览。 

5。需要修改php文件include/channelunitfuncphp 

查找 

return $GLOBALS["cfg_plus_dir"]"/view-"$aid'-1html'; 

修改为 

return "/view-"$aid'-1html'; 

查找 

return $GLOBALS['cfg_phpurl']"/viewphpaid=$aid"; 

修改为 

return "/viewphpaid=$aid"; 

其实不修改也可以，但是URL地址会长一点。这个是文章的。 

查找 

$reurl = $GLOBALS['cfg_phpurl']"/listphptid="$typeid; 

修改为 

$reurl = "/list-"$typeid"html"; 

这个必须修改，是栏目页的。 

6、需要在根目录下增加一个htaccess文件（只适用于linux系统，并需要虚拟主机支持）。 

添加如下： 

<IfModule mod_rewritec> 

RewriteEngine On 

RewriteCond %{http_host} ^xianjianhotcom [NC] 

RewriteRule ^()$ http://wwwxianjianhotcom/$1 [L,R=301] 

RewriteRule ^list-([0-9]+)\html$ /plus/listphptid=$1 

RewriteRule ^list-([0-9]+)-([0-9]+)-([0-9]+)\html$ /plus/listphptid=$1&totalresult=$2&PageNo=$3 

RewriteRule ^view-([0-9]+)-1\html$ /plus/viewphparcID=$1 

RewriteRule ^view-([0-9]+)-([0-9]+)\html$ /plus/viewphpaid=$1&pageno=$2 

</IfModule>

说明： 

1、 

RewriteCond %{http_host} ^xianjianhotcom [NC] 

RewriteRule ^()$ http://wwwxianjianhotcom/$1 [L,R=301]

此为域名301重定向指令，放在其它重写命令前面。其中域名替换成自己网站域名。这有利于网站的SEO。如果不看重则可以不要。 

2、 

RewriteRule ^view-([0-9]+)-([0-9]+)\html$ /plus/viewphpaid=$1&pageno=$2

此为文章分页重写命令。如果view替换成自己设置的其他词，则需要把include/arcarchivesclassphp文件中的view同时替换掉。 

3、 

伪静态可能会出现多个url都是指向相同页面，如果看重SEO效果，则可用robotstxt屏蔽多余url。 

这个搜索引擎都分辨的出来，不要分开弄，robotstxt只放在域名的根目录下面，就是放在wwwabccom下面。robotstxt其实就是一份协议，里面写了搜索引擎识别的语言，告诉他“我欢迎你来抓取”或者“滚远点，别到我这里来”，所以会不会影响就看你怎么写了，一般如果没有什么需要处理的就直接放一个robotstxt空文件夹也可以，如果需要具体写的话规范比较多，详细的可以看看我博客里的这篇文章http://hibaiducom/531758291/blog/item/b0755fafe3455d024a36d65dhtml，里面各种情况该怎么写都很全。

关于网页的url建议你用唯一的，不要二级域名可以访问而且abccom/1，abccom/2，abccom/3的方式也可以访问，这样对搜索引擎不友好。保留一个唯一路径。

分析筛选关键词:

精准度：分析用户的搜索目的：——企业网站；

竞争度：关键词优化难度；

确定网站优化词：

搜索量：首页关键核心词3-5个；栏目关键词2-3个。

URL网址结构优化：影响用户浏览体验：影响搜索引擎抓取网站内部网页的效率

网站地图

站内链接结构优化：影响用户浏览习惯

静态化：层次少；

URL网址规范化：

DEDECMS操作：去掉首页域名后跳出的indexhtml

启用绝对网址：系统基本参数-核心设置-启用绝对网址；

登陆环宇-我的主机-控制面板-基础环境设置-默认首页设置-indexhtml置顶

robotstxt:存储在空间根目录；告诉搜索引擎：网站哪些内容可以抓取/不允许抓取；蜘蛛程序访问网站第一时间访问根目录下的robotstxt

例1

User-agent

Disallow

表示所有内容都允许抓取-与空间根目录没有robotetxt一样的效果

例2

User-agent:spider

Disallow

表示网站所有内容不允许百度抓取

3、登陆环宇-wodezhuji-kongmianban-jichuhuanjingshe

-默认后也设置-indexhtml置顶-生成-静态

4、网站内容优化：网站内容更新+增加收录量+增加长尾关键词排名

5、站外优化：高质量外链+站外常规推广

影响排名的三大因素：

1、内容与关键词的相关性：关键词出现为止；关键词出现频率；关键词出现方式（完整出现/拆分出现）；

2、链接：高质量外链；

3、用户：地区；用户浏览习惯：用户浏览体验；用户搜索点击；

SEO的常用术语

301重定向跳转

1、网站更换域名，通过301重定向把老域名跳转指向新域名，实现老于明德收录机记录数据和排名等传递给新域名；

疑问词：尽量不选为首页核心词：主要使用问答平台；也可以利用文章页；

关键词布局结构：给网站各个不同层次的网页匹配合适的关键词；

1、网站首页：核心关键词，3-5个；重要关键词放首位；--很大的排名优势

2、栏目页：2-3个左右；比较简单的关键词+跟栏目页相关；

3、内容页：长尾关键词

长尾关键词优化：主要利用内容页做比较简单的关键词排名

网站收录数据：文章数量+文章质量；

用户的内容需求

文章内容编辑：原创；长尾关键词（标题+内容）；

4、

5、不同网页的关键词尽量不出现完全重复

网络营销转化率：这个转化率一般可以理解为投入金额与收入回报金额之间的百分比，也就是投放的资金与收入的金额。

公司相关信息介绍+营销转化的内容+资讯栏目+更好地与关键词匹配

网页title优化：设置关键词最重要的位置

1、网站不同网页的title不能完全重复；

2、字数显示：30字左右

3、不能恶意重复关键词，例;可以合理重复，把某个关键词包含进其它关键词内，例,一般重复三次左右，尽量不超过五次；

4、关键词先后排序：按照重要程度依次排序；

5、品牌词：

重视产品次/业务词牌名，品牌词写最后面；

重视品牌推广的企业，品牌词写最前面

品牌词一般使用简写形式or品牌词与产品词的组合，不适用营业执照的公司名称；

6、关键词之间的分隔符：常用的有-|_,等英文符号；

不能使用特殊符号★◇等；

7、不能经常修改title；

8、常见的网站哥哥网页的title设置格式

1、网站首页

2栏目页：

3文章页：

DEDECMS操作：

修改栏目页模版list_articlehtm;index_articlehtm;

1、首页title：在首页模版

修改为

系统基本参数-网站参数-网站名称：填写品牌词；

栏目-高级选项-SEO标题：填写各个栏目的关键词

备注：{dede:fieldseotitle/}栏目-高级选项平-SEO标题；

｛dede:globalglobalcfg_webname/｝系统基本参数-网站名称；

网站描述优化设置:比较重要；

各个网页的描述文字不能完全重复；

对当前网页内容简单描述，必须包含相关关键词

URL网址结构：营销网站内部网页的收录效率以及排名；

1、动态URL

2、静态URL

虚拟主机：FTP网页空间-数据库空间

发布文章-保存在数据库的数据表中-生成网页文件存储在FTP网页空间；

1、真静态：根据静态URL的路径结构，在FTP空间中有对应的真实文件存在；

2、伪静态：根据静态URL的路径结构，在FTP空间的相应位置不存在文件；

URL网址优化的知识点：

静态化，减少目录层次

剪短；

适当包含关键词拼音；

URL网址规范化：访问首页域名不自动跳转indexhtml;

所有超链接启用绝对网址；

DEDECMA操作：

栏目-常规选项-文件保存目录：/当前栏目目录名称，例/news;

——不同栏目的目录名称不能出现重复；新闻栏目的目录名称使用news;目录名称不能使用汉字；目录名称不能太长；

404错误页面：

含有返回网站的链接；

不要使用metarefresh跳转；

制作1个网页文件404html;

404html上传到空间根目录；

主机管理控制台-基础环境设置-404页面设置：把404html设置成网站404页面；

站内链接结构优化：

网站地图：提高蜘蛛对网站内容的抓取效率

XML格式：sitemapxml-站点地图协议文件

HTML格式：展现网站大多数链接的网页；

地图

站内链接结构：网站内部网页之间的链接关系；影响用户浏览体验+引导蜘蛛爬行抓取（影响收录效率）；

站内链接结构优化：缩短首页与内容页之间的链接距离；突出重点页面；

1、网站

设计：展示出所有栏目的链接（包括子栏目）；

顶部导航（主导航）

底部导航

侧边导航：产品导航、相关导航；

面包屑导航：内页的当前位置；

链接列表布局设计：至少一个链接列表（频繁更新）；

营销型网站：网站内容+页面设计=利用转化成交；利于优化推广

1、规划网站栏目；

2、选出核心关键词；

3、策划设计网站首页的布局图；

网页body中关键词的合理分布：

关键词密度不能太高；

关键词在网页中均匀分布；网页局部位置关键词频率太高被惩罚得到风险；

关键词尽量融入在内容中；

关键词有完整匹配出现（频率不能太高），也有拆分出现/相关词出现；

网站内容优化：网站内容更新+增加网站收录量+做长尾关键词排名；

1、用户：搜索需求；阅读体验；

2、搜索引擎：原创；关键词；

1、网站内容规划：栏目规划中需要有咨询栏目，可以持续发文章，且可以结合用户的搜索需求以及长尾词关键词发文章

文章内容：

字数>150字；用户的阅读体验；

需要添加alt属性；文章内容中较少，alt可以写文章标题；如果文章内容中较多，各个的alt需要区分；

文章开头体现相关关键词；

文章内容中可以适当添加关键词链接，2个左右，多样化（不能所有文章都添加同一个关键词链接+同一篇文章同样关键词不能添加2次链接）；关

链接网址是对应的；

用户阅读体验：可以适当插入；文章内容篇幅不要太长，可以分页/分成多篇文章发布；突出重点（加粗/颜色/字体大小）

需要设置tag标签，跟文章相关的关键词；

5、网站内容更新规律：时间；数量；

HTML代码优化：

1、代码优化

(javascript语言）

自己添加h1，可以隐藏（不影响网页的视觉效果）；

在模板的后添加以下代码：

核心词

在对应的CSS中添加以下代码：

abc{display:none;}

<scipttype="text/javascript"src="xxxjs")

documentwrite(xxxxxxxxxxxxxxxx");

robotstxt实现的是一个完整的网页不被搜索引擎抓取收录；

文字;告诉蜘蛛不要跟随访问该链接网址；以上这句代码能够正常抓取；

1、外链建设原则：

链接来源多样化，链接来自于不同域名的网站；

重视链接质量：内容相关；对方网站权重（SEO状况）；

链接文字以关键词为主，并且多样化；

链接数量持续平稳增加；不能短期内暴增；不能使用群发软件

不能主动链接垃圾网站/违法网站；

2、外链建设方法：

1、友情链接：尽量找内容相关的网站交换；尽量找权重对等（甚至比我们网站高）的网站交换；

①找网站：QQ群；换链神器；链接交换平台；分析竞争网站/相关网站的友情链接

②分析网站

③沟通交换

④定期检查更新：检查对方是否正常加链接；检查对方网站SEO情况

购买链接：

不能购买黑链

明链：挑不卖违法连接的网站；

网址导航/网站分类目录：等网站有一定的SEO数据之后，在想网址导航/分类目录提交；

软文链接/新闻链接：向行业网站投稿；

网站（品牌推广+长尾词排名+外链）；

第三方平台-连接质量一般；以推广为主要目的，顺带做外链

1、DEDECMS后台-系统-数据库备份/还原-备份所有的数据表：把数据库控件中的所有数据表全部备份下载到FTP空间中/data/backupdata/

把FTP空间中所有文件全部下载：主机管理控制台-文件管理-文件压缩

蜘蛛抓取--释放收录数据（能够查询到数据）：有时间间隔；

多发布一些新闻资讯文章(news;结合有百度指数的加关虚假关键词

结合热点事件/热门知识/长尾关键词发布文章

1、找关键词

2、文章内容原创度40%以上-开头

3、目标关键词在文章页中重复几次-开头必须有文章；

网站SEO流程：

1、内容结构调整（栏目结构）：结合公司信息+用户搜索习惯+资讯栏目；

2、选择关键词工具；

分析筛选：精准度；竞争度；搜索量；

3、站内优化：

1、设置关键词：

head区域：title;description;keywords

body区域：h1/h2;靠近网页开头

2、URL网址结构优化：静态化，层次少；简短；适当包含关键词拼音；URL网址规范化

3、站内结构优化：网页布局用户浏览体验+SEO（导航设计+链接列表设计）；

4、网站地图：sitemapxml+网页形式的地图；

5、HTML代码优化：代码；精简代码；

6、robotstxt;404错误页面；