robotstxt文件中应该屏蔽哪些目录

想知道网站优化，就得先明白搜索引擎的工作原理。当你有一个自己的网站，百度会派蜘蛛去抓取你的网站，如果你的网站比较优秀，就会把你的网站收录在“百度数据库”上去。

冬镜seo

网站优化是利用搜索引擎的规则提高网站在搜索结果页的自然排名，从而提高网站访问量、增加订单量、树立品牌形象。网站的质量高、收录多，那被搜索到关键词时展现在前几页的可能性也越大。

现在上网已经成为了人的基本需求，只要用户存在上网行为，那必然伴随着搜索行为，只要搜索行为存在，那网站的优化必然就是企业提高曝光、增加流量的一大利器。

1、付费推广：这类营销推广也是现阶段公司常见的推广方法之一，SEM也就是大伙儿常说的竟价营销推广，例如百度搜索竟价、360竞价等，益处便是能够指定特定关键字，优点是排名实际效果显著，只必须提高点一下价钱就可以迅速见到排名。缺陷便是花费高，并且必须专业的工作人员去维护保养，要不然非常容易钱用出来却见不上实际效果。

2、自然排名：它是根据专业技术人员对网站关键字开展提升，依据百度搜索引擎的优化算法而获得的排名实际效果。优点比较突出，那便是性价比高十分高。点一下不收费，公司不用资金投入很多的花费。

3、网站构架层级要清楚，网站构造上尽量减少选用框架剪力墙，导航栏尽可能不应用FLASH按键。

4、网页页面容积要合理性，网站要尽可能应用静态页面，降低应用动态网站。网页页面容积越小显示信息速率越快，对百度搜索引擎网络蜘蛛的好感度越高，因此在设计网页的情况下要尽可能精减HTML编码，一般网页页面容积不超过15kB。

5、主题要确立，内容要丰富多彩。依据不一样的主要用途来精准定位网站特点，网站主题须确立突显，主题鲜明圆润，以合乎客户体验为标准。

众所周知，SEO周期长工作量大，你需要不断建设网站的内容、发外链，没有内容和外链的支撑，你的SEO工作将会非常艰难。

一、首先看内容建设

内容建设在网站建设之初就应该摆在首要的位置，高质量的内容对网站的影响巨大，他决定用户在你网站的点击量、停留时间和跳出率，这三项指标对于网站权重的影响深远。

二、然后看外链建设

高质量的外链对网站关键词排名的作用是非常明显的，外链还能增加广告效应，即使不带链接，也能对品牌起到宣传作用，曝光率也是非常不错的外链形式。

三、执行力是关键

站内关键词、内链、导航这些都建设好以后，就可以开始做内容和外推了。

不能抱侥幸心理，站长很多，竞争很激烈。新站不能等着百度去收录，等着百度给权重，你需要自己争取，深入挖掘各种数据，内容、网站数据分析、架构是否合理、外链如何传递权重。

SEO如何把网站关键词排名做上去呢？SEO没有固定的套路，实践的时候要不断与百度搜索引擎算法磨合，实践是检验真理的唯一标准，不抛弃不放弃，你就是一个合格的SEOer。

网站关键词排名下降原因与解决方法是什么？关键词排名下降这种情况相信每一位seoer都会遇到，也是常见之事。对于企业站来讲关键词排名下降后，你的上司会请你进办公室喝喝茶谈谈心什么，如果是小幅度的下滑问题不大，增加一些优质的内容与链接很快就能恢复排名。排名下降至几页后这个就需要具体的进行分析原因了，也需要费一些心思与时间进行全方位的分析。

网站关键词排名下跌因素与解决方案

原因一、网站近期有修改过

1、是否对网站进行过修改，如果是网站近期改版做好相对应的301重定向就可以了，出现排名下滑现象无须过多担心，等待一段时间就会恢复。

2、如修改栏目或者专题页title标题，出现排名下降，那么需要立即修改回来。

3、如修改过网站的URL或者是某一个栏目的URL。

4、如网站增加某一新的功能，如：程序调用不相关数据，Flash增加等。

原因二、网站被黑客入侵

网站有没有被入侵，查看网站收录是否有博彩类的信息，对于使用dedecms程序的站点来说这个也是很正常。崔鹏瀚SEO也经常遇到入侵后排名会下滑，将空间里面的挂马文件彻底清理后，需要对死链进行提交。如果死链页面是在同一个目录之下那么处理的方法就很便捷，在百度站长工具提交死链URL规则即可处理，死链处理完成后排名很快就能恢复。

原因三、网站内容发布

1、网站近期是否发布了一些文章或公司新闻等操作，而且更新的内容是在网站的首页中的某一个板块上进行显示。

2、网站长时间未更新内容，不要轻易相信网站不更新内容排名也很好，这里面有很多因素。如不更新人家引流，人家博客或网站有很多受众用户，有行业权威或个人品牌影响力。

原因四、网站服务器不稳定

网站服务器访问速度过慢或者不稳定，会导致网站排名的主要因素。

购买服务器的时候一定要选择有实力运营商。

原因五、网站停止付费推广

之前一直在做付费推广，由于各种原因停止推广后发现排名下降。像这种情况快速恢复排名的方法，重新开启付费推广让排名更稳定更靠前。

原因六、网站使用其他工具

1、使用群发工具发布网站推广信息，或者将网址放入所谓的蜘蛛池里面。

2、网站关键词通过快速排名渠道进行提升如今停止快排后排名下降这都属于正常现象。

原因七、主需求发生变化

用户需求发生变化，出现这种情况可以看下同行的关键词排名是否有变化。分析现排名在前三的网站，收集首页title标题与网站提供的服务与内容进行对比自身站点。更新百度下拉与百度相关最新的相关内容或修改title标题。

但是，你真的知道网站的robotstxt文件设置是否合理，哪些文件或者目录需要屏蔽、哪些设置方法对网站运营有好处 那下面带着这些疑问，笔者会进行详细的解答，希望对新手站长朋友们有所帮助，老鸟勿喷。 一、什么是robotstxt 笔者引用百度站长工具中后段话来解释。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robotstxt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robotstxt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。 二、robotstxt文件对网站有什么好处 1、快速增加网站权重和访问量; 2、禁止某些文件被搜索引擎索引，可以节省服务器带宽和网站访问速度; 3、为搜索引擎提供一个简洁明了的索引环境 三、哪些网站的目录需要使用robotstxt文件禁止抓取 1)、目录 是构成网站的主要组成元素。随着现在建站越来越方便，大量CMS的出现，真正做到了会打字就会建网站，而正是因为如此方便，网上出现了大量的同质化模板网站，被反复使用，这样的网站搜索引擎是肯定不喜欢的，就算是你的网站被收录了，那你的效果也是很差的。如果你非要用这种网站的话，建议你应该在robotstxt文件中进行屏蔽，通常的网站目录是：imags 或者 img; 2)、网站模板目录 如上面 目录 中所说，CMS的强大和灵活，也导致了很多同质化的网站模板的出现和滥用，高度的重复性模板在搜索引擎中形成了一种冗余，且模板文件常常与生成文件高度相似，同样易造成雷同内容的出现。对搜索引擎很不友好，严重的直接被搜索引擎打入冷宫，不得翻身，很多CMS有拥有独立的模板存放目录，因此，应该进行模板目录的屏蔽。通常模板目录的文件目录是：templets 3)、CSS、JS目录的屏蔽 CSS目录文件在搜索引擎的抓取中没有用处，也无法提供有价值的信息。所以强烈建议站长朋友们在Robotstxt文件中将其进行屏蔽，以提高搜索引擎的索引质量。为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。CSS样式的目录通常情况下是：CSS 或者 style JS文件在搜索引擎中无法进行识别，这里只是建议，可以对其进行屏蔽，这样做也有一个好处：为搜索引擎提供一个简洁明了的索引环境; 4)、屏蔽双页面的内容 这里拿DEDECMS来举例吧。大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问，如果你生成全站静态了，那你必须屏蔽动态地址的URL链接。这里有两个好处：1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。这样做对搜索引擎友好性来说是有益无害的。 5)、模板缓存目录 很多CMS程序都有缓存目录，这种缓存目录的好处我想不用说大家也清楚了吧，可以非常有效的提升网站的访问速度，减少网站带宽，对用户体验也是很好的。不过，这样的缓存目录也有一定的缺点，那就是会让搜索引擎进行重复的抓取，一个网站中内容重复也是大祭，对网站百害而无一利。很多使用CMS建站的朋友都没有注意到，必须要引起重视。 6)被删除的目录 死链过多，对搜索引擎优化来说，是致命的。不能不引起站长的高度重视，。在网站的发展过程中，目录的删除和调整是不可避免的，如果你的网站当前目录不存在了，那必须对此目录进行robots屏蔽，并返回正确的404错误页面(注意：在IIS中，有的朋友在设置404错误的时候，设置存在问题，在自定义错误页面一项中，404错误的正确设置应该是选择：默认值 或者 文件，而不应该是：URL，以防止搜索引擎返回200的状态码。至于怎么设置，网上教程很多，大家要吧搜索一下) 这里有一个争议性的问题，关于网站后台管理目录是否需要进行屏蔽，其实这个可有可无。在能保证网站安全的情况下，如果你的网站运营规模较小，就算网站管理目录出现在robotstxt文件中，也没有多大问题，这个我也见过很多网站这样设置的;但如果你的网站运营规模较大，竞争夺手过多，强烈建议千万别出现任何你网站后台管理目录的信息，以防被别有用心的人利用，损害你的利益;其实搜索引擎越来越智能，对于网站的管理目录还是能很好的识别，并放弃索引的。另外，大家在做网站后台的时候，也可以在页面元标签中添加：进行搜索引擎的屏蔽抓取。 最后，需要说明一点，很多站长朋友喜欢把站点地图地址放在robotstxt文件中，当然这里并不是去屏蔽搜索引擎，而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。

一、网站初期的建设

在这里马海祥就不讲那些太普及的东西，例如域名的选择、空间的选择，这些片面的，今天给大家说点优化中比较少讲到的内容，一个初期的建设，选择开源程序有很多，例如DEDECMS，帝国，ZBLOG，WP等，这些开源程序用的人比较多，操作比较简单，而且漏洞更新比较勤快，是足已满足我们做网站的需求，这些程序比较适合个人做一些网站。

比如说，我们想要去做一个博客，这个时候我们就可以选择WordPress来进行搭建我们的网站，不过在这里，马海祥想要告诉大家一点，我们在建站选择这些开源程序确实都挺不错的，但是我们在给自己博客、网站选择主题的时候就需要注意了，并不是说所有的主题和源码都适合的，我们需要去考虑一个博客或者网站的整体外貌，对其进行比较，哪些是适合用户的，哪些是用户不喜欢的。

另外，我们还要注意这些网站、博客的代码是否利于蜘蛛抓取，是否足够的精简，对于一个网站的初期而言，蜘蛛在我们网站无论是抓取还是停留，时间都是非常短的，所以我们能够让蜘蛛在我们网站利用最短的时间抓取到最多的内容，那么我们就在网站初期的建设赢了。

还有一些公司类型的开发网站，通常会找一些人编写一套属于自己的网站程序，使其自己与众不同，这个其实本身是不存在问题的，但是，如果我们要想这样的话，首先自身要懂得程序的开发，以及自身了解优化知识，而不是随便的开发一个程序就完事了。

当我们的网站选定好后台内容管理系统之后，我们就需要做好网站的定位、关键词和内容，当然，网站优化不是以一个要领就能有好的排名，网站创建前期我们还有大量的准备工作要做的。

1、网站的定位

首先要做好网站远景规划，你的网站向哪个方向发展发展空间有多大预计受众有哪些受众量有多少这些都直接决定你定位的网站是否值得做下去，大家都知道屠龙术的笑话，屠龙术再吓人，可惜无龙可屠，同理，任你网站做得再漂亮，无人欣赏就没有任何价值(具体可查看马海祥博客《SEO新手如何做好网站定位》的相关介绍)。

2、选择优化的关键字

在初步确定一个网站定位后，就可以根据相应的关键字去搜索一下，同类的网站有哪些网站规模如何如果你能真的想到一个大家需要而尚没有人做的方向，那十分恭喜你，成功的机率就大了很多，当然，这也不是说有同类网站不可以做，只要能提供网民真正需要的内容，做出特色和差异，还是有发展潜力的。

选择关键字是做SEO优化历程中最最要的一点，选择好的关键字不但可以灵敏得到排名，还可以提升转化率，作为新站尤其是新手朋侪我发起利用一样平常热门的关键字，指数在50-200之间，选择2至3个，最好选用超等长尾词做关键字优化，条件是必须包罗必要优化的主关键字，如此就可以率先的获取排名增长网站流量，增长优化信心。

3、网站内容添补

选好关键字之后再购置域名、空间，然后就是建站，填写项目干系的内容，内容要写好，文章质量要好，文章质量好的内页才会被百度收录，最好把超等长尾词做成内容举行优化，如许的利益既能被百度收录增长权重，也可以获取排名引来流量，像我做SEO网站创建站点优化，终极的目的就是做定向流量的，而超等长尾词就是引定向流量最好的关键字(具体可查看马海祥博客《如何组合和挖掘长尾关键词》的相关介绍)。

网站SEO优化是一个长期的历程，好的要领加上好的心态是网站优化成功的必备宝贝。

二、网站中期的优化推广

当我们的网站正式上线之后，我们就需要对网站进行合理的布局以及网站定位，那么接下来，我们要做的工作就是网站内容的更新和网站外链的发布工作，对于一个新站而言，马海祥建议大家多多写一些原创内容，因为我们都知道蜘蛛是比较喜欢新颖的内容。

对于网站外链的建设，其实我们并不需要去各个网站、论坛发布大量的外链，因为随着搜索引擎算法的升级，搜索引擎自身已经可以识别外链的质量，所以我们如果要去发外链的话，就必须要去发一些高质量的外链，例如一些权重较好的论坛，A5，站长之家等网站的投稿，都是比较不错的，比较受蜘蛛的喜爱。

另外，还是在之前讲到的，我们一定要做好做精自己的内容，这里马海祥说的精华内容并不只是原创，而是真正有价值的原创内容，具有真正的可读性，能够解决用户需求的内容(具体可查看马海祥博客《如何把原创内容打造成有价值的网站文章》的相关介绍)。

1、网站内容要时时更新

“内容为王、外链为皇”这几个字我都说了N遍了，读者估计也听的烦了，不过还真是这么回事，不要试图去否定这句话，唯一有变化的也只是重视的程度不同。

百度对新站都有一个考核期，以是要捉住这个时期，做好优化事变，给搜刮引擎一个好的印象，网站内容时时更新是一个紧急事变，就算你创建站点是企业站，内容少，时时更新消息也有利于蜘蛛爬取，长期如此，蜘蛛抓取我的网站时，内容不是一层稳固的，搜刮引擎喜好新奇的东西。

网站的内容不可一成不变，那样搜索引擎就觉得你没什么价值了，慢慢的时间旧了就会降低你的排名了，不要觉得有外链就无敌了，内容的重要性，你做了之后就知道了。

2、为网站做些外链

百度对外链打击不是全部外链，是指那些质量低，毫偶尔义的乱发外链的举动，高质量的外链对网站的优化作用非常大，初期外链的作用重要有两点：一个是利用蜘蛛的抓取，让网站快速被收录;另一个是进步网站的关键字排名。

在马海祥博客网站创建站点刚上线时，我一周会发30条左右的外链，高质量的外链是有利于网站排名的，排名好不好，结果佳不佳，就看你的外链资源质量有多高(具体可查看马海祥博客《如何制定SEO外链专员发高质量外链的标准》的相关介绍)。

3、友情链接交换

链接交换是最快的提升网站收录和权重的要领，新站上线想换到高权重的链接是非常难的事，新网站更是难上加难，这个是必要时间去探求的，友链资源可以说非常有数。

为了确保我的友链资源，我平常一样是换一些链接，链接购置是百度严打的，但是得当的买一些权重不是太高，网站内容与我们网站干系的链接，还是很有效果的。

三、网站后期的分析

当我们网站一步步的走向正规之后，并不能够去松懈的，我们要多多的对自己网站进行分析和总结，多多的观察自身以及对手网站的内容和建设，有哪些地方需要我们去加强。

例如：马海祥博客的网站就一直在分析并且做调整，如果你从一开始就有关注到马海祥博客的网站，你就会发现，我之前发布的文章标题都不是像现在这样，而是在文章标题中加入了一些我自己网站的品牌，即“马海祥博客”这些词汇，并且描述也经常随便改，并没有去好好的进行规划，就像之前的栏目页，后期马海祥改成了与访客交流。

1、排名监控

SEO的维护有很多工作需要做，但所有的工作首先都应该从排名的监控开始，排名监控一般我们都采用软件来实现，但是这里要提醒的是，不要频繁的去使用，因为对于google来说，它的协议是不允许这种行为的，合理的使用会减轻SEOer的工作负担，一定要对网站的关键词有所掌握。

2、网站分析

网站分析也是SEO维护里的重要工作，从这里可以知道网站的访问者的数量、来访的页面、来访源、在网站停留的时间以及跳出的页面，通过对来访者的这些分析，可以帮助站长们了解用户的心理，了解他们的一些习惯，以及网站自身的用户体验效果，这些通过分析都可以掌握，这每一个步骤又可以拓展很多，之前我曾在马海祥博客《站长必须要学会分析哪些网站SEO数据》一文中已经跟大家详细的介绍过了，这里就不详细说了。

3、关键词和链接监控

关键词的监控是要求SEOer要对网站的目标关键词熟悉，要对目标领域熟悉，因为在不同的时期，目标关键词是在不断的变化的，你要及时的掌握关键词的搜索量，用户的搜索习惯，然后做出改变。

链接监控主要是查看内链和外链，内链监控是要检查网站在内容更新的过程中，是否产生了死链，通过工具可以查询，发现后要及时的删除，或者添加内容，还要监控内链的密度是否合适，进行适度的调整。

外链监控主要是查看网站的反链情况，要稳定的增长，不可操之过急，另外，马海祥还要提醒各位站长检查网站的友情链接建设，是否出现对方网站取消了外面的友情链接。

总之，SEO是没有尽头的，后期需要的是长期跟踪分析，我们要跟上搜索引擎的脚步，更好的去重视自己网站的建设优化以及用户体验工作，从而进一步的提升网站自身的质量和可读性。

那下面带着这些疑问，笔者会进行详细的解答，希望对新手站长朋友们有所帮助，老鸟勿喷。笔者引用百度站长工具中后段话来解释。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robotstxt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robotstxt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。1、快速增加网站权重和访问量;2、禁止某些文件被搜索引擎索引，可以节省服务器带宽和网站访问速度;3、为搜索引擎提供一个简洁明了的索引环境1)、目录是构成网站的主要组成元素。随着现在建站越来越方便，大量CMS的出现，真正做到了会打字就会建网站，而正是因为如此方便，网上出现了大量的同质化模板网站，被反复使用，这样的网站搜索引擎是肯定不喜欢的，就算是你的网站被收录了，那你的效果也是很差的。如果你非要用这种网站的话，建议你应该在robotstxt文件中进行屏蔽，通常的网站目录是：imags 或者 img;2)、网站模板目录如上面 目录 中所说，CMS的强大和灵活，也导致了很多同质化的网站模板的出现和滥用，高度的重复性模板在搜索引擎中形成了一种冗余，且模板文件常常与生成文件高度相似，同样易造成雷同内容的出现。对搜索引擎很不友好，严重的直接被搜索引擎打入冷宫，不得翻身，很多CMS有拥有独立的模板存放目录，因此，应该进行模板目录的屏蔽。通常模板目录的文件目录是：templets3)、CSS、JS目录的屏蔽CSS目录文件在搜索引擎的抓取中没有用处，也无法提供有价值的信息。所以强烈建议站长朋友们在Robotstxt文件中将其进行屏蔽，以提高搜索引擎的索引质量。为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。CSS样式的目录通常情况下是：CSS 或者 styleJS文件在搜索引擎中无法进行识别，这里只是建议，可以对其进行屏蔽，这样做也有一个好处：为搜索引擎提供一个简洁明了的索引环境;4)、屏蔽双页面的内容这里拿DEDECMS来举例吧。大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问，如果你生成全站静态了，那你必须屏蔽动态地址的URL链接。这里有两个好处：1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。这样做对搜索引擎友好性来说是有益无害的。5)、模板缓存目录很多CMS程序都有缓存目录，这种缓存目录的好处我想不用说大家也清楚了吧，可以非常有效的提升网站的访问速度，减少网站带宽，对用户体验也是很好的。不过，这样的缓存目录也有一定的缺点，那就是会让搜索引擎进行重复的抓取，一个网站中内容重复也是大祭，对网站百害而无一利。很多使用CMS建站的朋友都没有注意到，必须要引起重视。6)被删除的目录死链过多，对搜索引擎优化来说，是致命的。不能不引起站长的高度重视，。在网站的发展过程中，目录的删除和调整是不可避免的，如果你的网站当前目录不存在了，那必须对此目录进行robots屏蔽，并返回正确的404错误页面(注意：在IIS中，有的朋友在设置404错误的时候，设置存在问题，在自定义错误页面一项中，404错误的正确设置应该是选择：默认值 或者 文件，而不应该是：URL，以防止搜索引擎返回200的状态码。至于怎么设置，网上教程很多，大家要吧搜索一下)这里有一个争议性的问题，关于网站后台管理目录是否需要进行屏蔽，其实这个可有可无。在能保证网站安全的情况下，如果你的网站运营规模较小，就算网站管理目录出现在robotstxt文件中，也没有多大问题，这个我也见过很多网站这样设置的;但如果你的网站运营规模较大，竞争夺手过多，强烈建议千万别出现任何你网站后台管理目录的信息，以防被别有用心的人利用，损害你的利益;其实搜索引擎越来越智能，对于网站的管理目录还是能很好的识别，并放弃索引的。另外，大家在做网站后台的时候，也可以在页面元标签中添加：进行搜索引擎的屏蔽抓取。最后，需要说明一点，很多站长朋友喜欢把站点地图地址放在robotstxt文件中，当然这里并不是去屏蔽搜索引擎，而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。这里需要注意一下：1、站点地图的制作一定要规范;2、网站一定要有高质量的内容;收藏本文