网站日志分析和流量统计分析的区别

网站日志分析和流量统计分析的区别

相同点:

日志分析和流量软件分析都能分析出网站各种流量、受访页情况、关键字数据等。

不同点:

1、日志分析往往不能分析当前的流量数据；

2、常见的流量分析软件不能分析出搜索引擎爬虫数据；

3、常见的流量分析软件不会分析错误链接等数据；

网站日志分析对seo优化的作用

了解搜索引擎抓取网页的问题:

分析搜索引擎爬虫访问情况，我们可以分析出搜索引擎收录网页的一些线索：

搜索引擎最近访问网站的频率是否正常？

搜索引擎比较喜欢访问哪部分网页？

搜索引擎很少访问哪部分的网页？

搜索引擎是否访问了一些我们禁止访问的内容？

了解网站内容及链接是否正常：

通过分析服务器返回的状态代码，可分析以下问题：

是否有死链接

是否有页面元素被误删，比如、css脚本等等

服务器是否曾出现暂时故障

是否有临时重定向

是否有权限控制导致搜索引擎无法抓取数据

需要进入命令行配置业务日志发送的配置，所以也只能命令行查看配置，查看命令如下：

<DPtech>conf-mode

[DPTECH]probe_config

[DPTECH-probe-config]show umc-ip

umc-ip 17230376 src-ip 17230164119 //UMC-Ip是接收DDOS业务日志的UMC服务器IP， src-ip是probe发送日志的源IP

一个合格的站长或者seoer必须要能看懂网站的服务器日志文件，这个日志记录了网站被搜索引擎爬取的痕迹，给站长提供了蜘蛛是否来访的有力佐证，站长朋友可以通过网站日志来分析搜索引擎蜘蛛的抓取情况，分析网站的是否存在收录异常问题。并且我们可以根据这个日志文件判断蜘蛛来访频率以及抓取规律，这将非常有利于我们做优化。另外，学习分析网站日志文件也是站长必须具备的能力，也是你从一个初级seo进阶到seo高手的必由之路。但是前提是要主机服务商开通日志统计功能，一般虚拟主机提供商都不会开通，你可以申请开通，或者自己到服务器管理后台开通这个日志统计功能，不过日志也会占用空间的，我们在看完日志文件后，可以隔段时间清理下日志文件。那么如何分析服务器日志文件呢听我娓娓道来。

　　搜索引擎抓取网站信息必会在服务器上留下信息，这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况，一般通过主机服务商开通日志功能，再通过FTP访问网站的根目录，在根目录下可以看到一个log或者weblog文件夹，这里面就是日志文件，我们把这个日志文件下载下来，用记事本(或浏览器)打开就可以看到网站日志的内容。那么到底这个日志里面隐藏了什么玄机呢其实日志文件就像飞机上的黑匣子。我们可以通过这个日志了解很多信息，那么到底这个日志给我们传递了什么内容呢

　　如果想要知道网站日志文件包含了什么内容，首先必须知道各搜索引擎的蜘蛛名称，比如百度的蜘蛛程序名称是baiduspider，Google的机器人程序名称是Google-Googlebot等等，我们在日志的内容里搜索上述的的蜘蛛名就可以知道哪个搜索引擎已经爬取过网站了，这里就留下了他们的蛛丝马迹。再者，必须能看懂常见的http状态码，最常见的HTTP状态码有200(页面抓取成功)、304(上次抓取的和这次抓取的没变化)，404(未找到页面，错误链接)500(服务器未响应，一般由服务器维护和出故障，网站打不开时出现的)，这些状态码是我们站长朋友必须能看懂的，服务器状态码的值是我们和蜘蛛交流的信号。知道了这些基本信息以后我们就可以根据网站日志进行分析了，一般来说我们只看百度和谷歌蜘蛛的爬行和抓取情况，当然有特殊需要的也可以对其他几个蜘蛛的爬行情况进行分析。网站日志中出现大量的谷歌蜘蛛和百度蜘蛛，说明搜索引擎蜘蛛时常来光顾你的网站。

　　说到分析日志文件，我们就不得不说分析日志文件的时机了，那么在什么情况下我们要去分析日志文件呢首先，新网站刚建立的时候，这个时候也是站长朋友最急切的时候，我们一般都会焦急的等待搜索引擎收录网站内容，经常会做的事情就是去百度或者Google用命令site:下网站域名看看是否被收录，这个时候，其实我们没必要频繁的查询网站是否被收录，要想知道搜索引擎是否关顾我们的网站。我们就可以借助网站日志文件来查看，怎么看看网站日志是否有搜索引擎的蜘蛛来网站抓取过，看返回的状态码是200还是其他，如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。一般抓取成功后被搜索引擎放出来的时间也会晚点，一般谷歌机器人放出来的比较快，最快可秒杀，但是百度反应就慢了，最快也要一周左右，不过11月份百度算法调整后，放出来的速度还是很快的。其次，当网站收录异常时我们要把正常收录的日志和异常的日志进行对比分析，找出问题所在，这样可以解决网站收录问题，也是对完整优化大有裨益的。第三，网站被搜索引擎K掉后，我们必须要观察网站日志文件来亡羊补牢，一般这种情况下，日志文件里只有很少的几个蜘蛛爬行了首页和robots，我们要找出被K的原因并改正，再提交给搜索引擎，接下来就可以通过观察日志来看蜘蛛是否正常来临，慢慢过一段时间，如果蜘蛛数量增加或者经常来临并且返回200状态吗，那么恭喜你，你的网站又活了，如果半年都没反应，那么建议放弃该域名重新再战了。

　　很多站长朋友不懂得如何利用网站日志文件，遇到网站收录问题就去提问别人，而不好好自检，这是作为站长或者seoer的悲哀。而且网上的很多软文都提到要做好日志文件的分析，但是那只是软文而已，说不定写文章的作者都没有去看日志文件。说到底，还是希望站长朋友一定不要忽略了网站日志文件，合理的利用好网站日志文件是一个站长或seoer必备的技能。再者说，看懂网站日志文件并不需要你有多么高深的编码知识，其实只要看得懂html代码和几个返回的状态码就可以了，一定不能懒，或者抱着侥幸心理去对待你的网站，这种心理会导致你输得很惨。如果你是一个小站长，或者你是一个seoer，如果你以前没有意识到网站日志文件的重要性，那么从看到我写的这篇文章开始要好好对待你的网站日志了。

您好，很高兴为您解答。

作为SEOer，我们使用的各种各样的工具，以收集各式各样的技术问题，网站分析，抓取诊断，百度站长工具等。所有这些工具是有用的，但都无法比拟在网站日志数据分析搜索引擎蜘蛛抓取，就像Googlebot到爬取您的网站并您的网站上留下了一个真实的记录。这是网络服务器日志。日志是一个强大的源数据经常没有得到充分利用，但有助于保持您的网站的搜索引擎抓取检查的完整性。

服务器日志是由一个特定的服务器进行详细记录了每一个动作。在一个Web服务器的情况下，你可以得到很多有用的信息。如何检索和分析日志文件，并根据您的服务器的响应代码（404，302，500等）的识别问题。我将它分解成2个部分，每个部分突出不同的问题，可以发现在您的Web服务器日志

一、获取日志文件

搜索引擎抓取网站信息必会在服务器上留下信息，这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况，一般通过主机服务商开通日志功能，再通过FTP访问网站的根目录，在根目录下可以看到一个log或者weblog文件夹，这里面就是日志文件，我们把这个日志文件下载下来，用记事本(或浏览器)打开就可以看到网站日志的内容。那么到底这个日志里面隐藏了什么玄机呢其实日志文件就像飞机上的黑匣子。我们可以通过这个日志了解很多信息，那么到底这个日志给我们传递了什么内容呢下面先做一个简单的说明。

日期：这将让你一天搜索引擎抓取速度的发展趋势进行分析。

被爬取文件：这将告诉你哪些被抓取的目录和文件，并在某些路段或类型的内容可以帮助查明问题。

状态码：（只列出常见到并能直接反正网站问题的状态码）

200状态码：请求已成功，请求所希望的响应头或数据体将随此响应返回。

302状态码：请求的资源现在临时从不同的URI响应请求。

404状态码：请求失败，请求所希望得到的资源未被在服务器上发现。

500状态码：服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。

- - 提供了哪些网页被爬虫运行到并反应出什么样的问题。

从哪里来：虽然这不一定是有用的分析搜索机器人，它是非常有价值的，其他的流量分析。

哪种爬虫：这个会告诉你哪个搜索引擎爬虫在你的网页上运行的。

二、解析网站日志文件

现在你需要一个日志分析工具，因为如果你的网站有几M或几十M甚至百M以上的日志数据时，你不可能一条条去看。再说，就算日志数据不多，一条条看也是不科学的。这里用光年seo日志分析工具为大家做个例子。

1．导入文件到您解析软件。

2．分析网站日志及时发现出现的问题

搜索引擎抓取您的网站有最快的方式是看在正在服务的服务器响应代码。404（找不到页面）可能意味着抓取那珍贵的资源被浪费了；302重定向请求的资源现在临时从不同的URI响应请求；500是服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理，可以分析出服务器出现的问题。虽然网站管理工具提供了一些信息，这样的错误，会给你的网站造成一个非常大的影响。

分析的第一步是从您的日志数据，通过光年seo日志分析工具以产生一个数据表。在最基本的层面上，让我们看看哪些搜索引擎的爬虫在爬行这个网站：

通过报表我们想几个问题：

a雅虎蜘蛛总抓取量占了全部的4712%；那么我从流量统计器看到。没有一个流量是从雅虎搜索引擎过来的。那么这个蜘蛛可不可以禁止他再来访问呢？

b百度蜘蛛（BaiDu Spider ）的访问次数、停留的时间、总抓取量反应了什么呢？

c其它搜索引擎的蜘蛛的访问次数、停留的时间、总抓取量那么少的原因是什么呢？有没有改善的方法呢？

接下来，让我们来看看在蜘蛛状态码分析，我们最关心的问题。

这是只显示这个日志有问题的蜘蛛状态码，而已正常200将不被分析。我们将要细看这个表格。总体而言，好到坏的比例看起来很健康，但有一些个别的问题让我们尝试弄清楚这是怎么回事。

302出现的问题数量是可以接受的，但是不代表可以放着不去处理，我们应该有更好的方法来处理这些问题，也许用一个robotstxt指令应排除这些页面被抓取。

404的出现达到109个。在几万的抓取量来说。网站的这个数据也算是可以的。但是也需要解决，找出潜在的问题是隔离404目录或者使用rel =”nofollow”注释这些404链接。当然404的页面也必须要有。

如若满意，请点击右侧采纳答案，如若还有问题，请点击追问

希望我的回答对您有所帮助，望采纳！

                                                                                                                            ~ O(∩_∩)O~