综合使用时序数据与截面数据能解决多重共线性吗？

时序数据与截面数据能解决多重共线性  请参考下面时序数据库白皮书。

思极有容数据库

时序数据库技术白皮书

北京中电普华信息技术有限公司

2020年4月

目  录

1 大数据时代的挑战 1

2 产品特点 1

3 系统结构 2

4 存储结构 4

5 数据分区、水平扩展 6

6 高可靠系统 7

7 STable：多表聚合 9

8 数据模型 10

9 实时流式计算 11

10 便捷的安装、部署、维护 12

11 更多亮点 13

12 参数指标 13

13 应用场景 14

1 大数据时代的挑战

随着移动互联网的普及，数据通讯成本的急剧下降，以及各种低成本的传感技术和智能设备的出现，除传统的手机、计算机在实时采集数据之外，手环、共享单车、出租车、智能电表、环境监测设备、电梯、大型设备、工业生产线等也都在源源不断的产生海量的实时数据并发往云端。这些海量数据是企业宝贵的财富，能够帮助企业实时监控业务或设备的运行情况，生成各种维度的报表，而且通过大数据分析和机器学习，对业务进行预测和预警，能够帮助企业进行科学决策、节约成本并创造新的价值。

仔细研究发现，所有机器、设备、传感器、以及交易系统所产生的数据都是时序的，而且很多还带有位置信息。这些数据具有明显的特征，1: 数据是时序的，一定带有时间戳；2：数据是结构化的；3: 数据极少有更新或删除操作；4：无需传统数据库的事务处理；5：相对互联网应用，写多读少；6：用户关注的是一段时间的趋势，而不是某一特点时间点的值；7: 数据是有保留期限的；8：数据的查询分析一定是基于时间段和地理区域的；9：除存储查询外，往往还需要各种统计和实时计算操作；10：数据量巨大，一天采集的数据就可以超过100亿条。

看似简单的事情，但由于数据记录条数巨大，导致数据的实时写入成为瓶颈，查询分析极为缓慢，成为新的技术挑战。传统的关系型数据库或NoSQL数据库以及流式计算引擎由于没有充分利用这些数据的特点，性能提升极为有限，只能依靠集群技术，投入更多的计算资源和存储资源来处理，企业运营维护成本急剧上升。

2 产品特点

思极有容时序数据库正是普华公司面对这一高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品，它不依赖任何第三方软件，也不是优化或包装了一个开源的数据库或流式计算产品，而是在吸取众多传统关系型数据库、NoSQL数据库、流式计算引擎、消息队列等软件的优点之后自主开发的产品，在时序空间大数据处理上，有着自己独到的优势。

· 10倍以上的性能提升：定义了创新的数据存储结构，单核每秒就能处理至少2万次请求，插入数百万个数据点，读出一千万以上数据点，比现有通用数据库快了十倍以上。

· 硬件或云服务成本降至1/5：由于超强性能，计算资源不到通用大数据方案的1/5；通过列式存储和先进的压缩算法，存储空间不到通用数据库的1/10。

· 全栈时序数据处理引擎：将数据库、消息队列、缓存、流式计算等功能融合一起，应用无需再集成Kafka/Redis/HBase/HDFS等软件，大幅降低应用开发和维护的复杂度成本。

· 强大的分析功能：无论是十年前还是一秒钟前的数据，指定时间范围即可查询。数据可在时间轴上或多个设备上进行聚合。临时查询可通过Shell, Python, R, Matlab随时进行。

· 与第三方工具无缝连接：不用一行代码，即可与Telegraf, Grafana, Matlab, R等工具集成。后续将支持MQTT, OPC等工具, 与BI工具也能够无缝连接。

· 零运维成本、零学习成本：安装、集群一秒搞定，无需分库分表，实时备份。支持标准SQL语句，支持JDBC, RESTful连接, 支持Python/Java/C/C++/Go等开发语言, 与MySQL相似，零学习成本。

采用思极有容时序数据库，可将典型的物联网、车联网、工业互联网大数据平台的整体成本降至现有的1/5。同样的硬件资源，思极有容时序数据库能将系统处理能力和容量增加五倍以上。

3 系统结构

思极有容时序数据库是基于硬件、软件系统不可靠、一定会有故障的假设进行设计的，是基于任何单台计算机都无足够能力处理海量数据的假设进行设计的，因此思极有容时序数据库从研发的第一天起，就是按照分布式高可靠架构进行设计的，是完全去中心化的。思极有容时序数据库整个系统结构如下图所示，下面对一些基本概念进行介绍。

物理节点：集群里的任何一台物理机器(dnode)，根据其具体的CPU、内存、存储和其它物理资源，思极有容时序数据库将自动配置多个虚拟节点。

虚拟数据节点：存储具体的时序数据，所有针对时序数据的插入和查询操作，都在虚拟数据节点上进行（图例中用V标明）。位于不同物理机器上的虚拟数据节点可以组成一个虚拟数据节点组（如图例中dnode0中的V0, dnode1中的V1, dnode6中的V2组成了一个组），虚拟节点组里的虚拟节点的数据以异步的方式进行同步，并实现数据的最终一致性，以保证一份数据在多台物理机器上有拷贝，而且即使一台物理机器宕机，总有位于其他物理机器上的虚拟节点能处理数据请求，从而保证系统运行的高可靠性。

虚拟管理节点：负责所有节点运行状态的采集、节点的负载均衡，以及所有Meta Data的管理，包括用户、数据库、表的管理（图例中用M标明）。当应用需要插入或查询一张表时，如果不知道这张表位于哪个数据节点，应用会连接管理节点来获取该信息。Meta Data的管理也需要有高可靠的保证，系统采用Master-Slave的机制，容许多到5个虚拟管理节点组成一个虚拟管理节点集群（如图例中的M0, M1, M2)。这个虚拟管理节点集群的创建是完全自动的，无需任何人工干预，应用也无需知道虚拟管理节点具体在哪台物理机器上运行。

集群对外服务IP：整个系统可以由多台甚至数万台服务器组成，但对于应用而言，只需要提供整个集群中任何一台或两台服务器的IP地址即可。 集群将根据应用的请求，自动的将请求转发到相应的一个甚至多个节点进行处理，包括聚合、计算操作等。这些复杂的分发和路由对应用是完全透明的。

4 存储结构

为提高压缩和查询效率，思极有容时序数据库采用列式存储。与众多时序数据库不同的是，思极有容时序数据库基于时序数据的特点，将每一个采集点的数据作为数据库中的一张独立的表来存储。这样对于一个采集点的数据而言，无论在内存还是硬盘上，数据点在介质上是连续存放的，这样大幅减少随机读取操作，减少IO操作次数，数量级的提升读取和查询效率。而且由于不同数据采集设备产生数据的过程完全独立，每个设备只产生属于自己的数据，一张表也就只有一个写入者。这样每个表就可以采用无锁方式来写，写入速度就能大幅提升。同时，对于一个数据采集点而言，其产生的数据是时序的，因此写的操作可用追加的方式实现，进一步大幅提高数据写入速度。

数据具体写如流程如图所示：

 

写入数据时，先将数据点写进Commit日志，然后转发给同一虚拟节点组里的其他节点，再按列写入分配的内存块。当内存块的剩余空间达到一定临界值或设定的commit时间时, 内存块的数据将写入硬盘。内存块是固定大小(如16K)的, 但依据系统内存的大小，每个采集点可以分配一个到多个内存块，采取LRU策略进行管理。在一个内存块里，数据是连续存放的，但块与块是不连续的，因此思极有容时序数据库为每一个表在内存里建立有块的索引，以方便写入和查询。

数据写入硬盘是以添加日志的方式进行的，以求大幅提高落盘的速度。为避免合并操作，每个采集点（表）的数据也是按块存储，在一个块内，数据点是按列连续存放的，但块与块之间可以不是连续的。思极有容时序数据库对每张表会维护一索引，保存每个数据块在文件中的偏移量，起始时间、数据点数、压缩算法等信息。每个数据文件仅仅保存固定一段时间的数据(比如一周，可以配置)，因此一个表的数据会分布在多个数据文件中。查询时，根据给定的时间段，思极有容时序数据库将计算出查找的数据会在哪个数据文件，然后读取。这样大幅减少了硬盘操作次数。多个数据文件的设计还有利于数据同步、数据恢复、数据自动删除操作，更有利于数据按照新旧程度在不同物理介质上存储，比如最新的数据存放在SSD盘上，最老的数据存放在大容量但慢速的硬盘上。通过这样的设计，思极有容时序数据库将硬盘的随机读取几乎降为零，从而大幅提升写入和查询效率，让思极有容时序数据库在很廉价的存储设备上也有超强的性能。

为减少文件个数，一个虚拟节点内的所有表在同一时间段的数据都是存储在同一个数据文件里，而不是一张表一个数据文件。但是对于一个数据节点，每个虚拟节点都会有自己独立的数据文件。

5 数据分区、水平扩展

为处理每日高达数亿条的海量数据，数据必须在多个节点存放。在思极有容时序数据库里，数据是按照每个采集点（表）来存放的。一张表（一个采集点）的数据，即使每秒产生一百个字节的数据量，一年也才3G的数据量，压缩后，往往还不到300M，因此在思极有容时序数据库里，一个表的数据是不跨节点存储的，以便于单张表的快速高效的插入、查询和计算。

为更好的数据分区，思极有容时序数据库采用了虚拟数据节点的设计。一个虚拟数据节点包含多个表，表的数量可以配置。根据其计算和存储资源，一个物理节点将被划分为多个虚拟数据节点。虚拟数据节点的设计带来几大优势：

1）更好的支持硬件异构环境，资源多的服务器可以创建更多的虚拟节点；

2）恢复一个宕机的节点，可以让众多的其他节点参与进来，大大加快速度；

3）如果撤掉一个数据节点，该节点上的虚拟节点将被相当均匀的迁移到其他节点上去；

4）新增一个数据节点，负载过热的节点的上的部分虚拟节点将被整体迁移过来。这一切让负载更加均衡，让数据同步变得更加高效。

与传统的数据库相似，用户可以创建多个数据库，每个库里面，可以创建多个表。一个库可以横跨多个虚拟数据节点，但一个虚拟数据节点仅仅属于一个数据库。当用户添加一个表时，管理节点将查看已经分配的虚拟节点里是否还有空位，如果有，就将该表分配到这虚拟节点。如果这个库的所有虚拟节点都没有空位，管理节点将根据负载均衡的策略(随机、轮询等)来分配一个新的虚拟节点给该库，然后将该表分配到新的虚拟节点里。由于一台物理主机有多个虚拟数据节点，这种策略能保证负载均匀分布。

管理节点负责整个系统的负载均衡，包括虚拟数据节点的增加、删除、迁移、合并与拆分。管理节点并不保存每个采集点采集的数据，只是管理虚拟节点，即使宕机，也不会影响现有各虚拟节点的数据插入和查询操作。各个采集点或应用从管理节点获取分配的虚拟数据节点信息后，然后直接与虚拟数据节点通讯，直接将数据插入数据库，对于查询操作也是如此。因此，系统容量以及吞吐率与虚拟数据节点的个数成正比，整个系统是水平扩展的

6 高可靠系统

为保证数据节点的高可靠性，思极有容时序数据库引入了虚拟数据节点组的概念，并采用异步的方式进行数据同步。一个虚拟节点组由处于不同物理主机上的虚拟数据节点组成，虚拟数据节点个数就是数据冗余的个数(Replication Factor，一般大于2)。在一个虚拟节点组里，各个虚拟数据节点通过心跳包实时知道对方的状态。如果一个虚拟数据节点收到数据写入的请求，该请求会被立即转发给其他虚拟数据节点，然后在本地存储处理。当应用连接思极有容时序数据库系统时，对于要操作的任何一张表，系统会给应用提供该表所属的虚拟数据节点组里各个虚拟节点的IP地址（如果replication factor为3，就会有3个IP地址），如果链接其中一个失败或者操作失败，应用会尝试第二个、第三个，只有所有节点失败才会返回失败。这样保证虚拟数据节点组里任何一台机器宕机，都不会影响对外的服务。这些复杂的重新连接流程都被思极有容时序数据库 Driver包装隐藏起来，应用开发者无需写程序来实现。

为保证效率，思极有容时序数据库采取异步方式实现多个副本之间的实时数据同步，采取的是最终一致性，而不是强一致。当一台主机重启时，每个虚拟数据节点都会检查自己数据的版本是否与其他虚拟节点一致，如果版本不一致，需要同步后才能进入对外服务状态。在运行过程中，由于各种原因，数据仍然可以失去同步，这种不同步会在收到转发的写入请求时被发现，一旦被发现，版本低的虚拟数据节点将马上停止对外服务，进入同步流程，同步完后，才会重新恢复对外服务。同步过程中，高版本的节点还可以正常的对外提供服务。 

 

管理节点负责存储Meta数据，同时根据每个数据节点状态来负责负载均衡，因此也要保证其高可靠性。多个虚拟管理节点组成一个虚拟管理节点组，因为Meta数据可以被多个应用同时更新，因此思极有容时序数据库采用的是Master-Slave模式实现虚拟管理节点的数据同步。写的操作，只有Slave节点写入成功后，Master节点才会返回成功，从而保证数据的强一致性。如果Master节点宕机，系统有机制保证其中一个Slave会立即被选举为Master, 从而保证系统写操作的高可靠性。

由于Meta数据量并不大，Meta数据虽然需持久化存储，但将其完全保存在内存，以保证查询操作的高效。在应用侧，为避免每次数据操作都访问管理节点，思极有容时序数据库 Driver将必要的Meta数据都会缓存在本地，只有当需要的Meta数据不存在或失效的情况下，才会访问管理节点，这样大大提高系统性能。

管理节点在集群中存在，但对于应用和系统管理员而言，是完全透明的。整个系统会自动在物理节点上创建虚拟管理节点以及虚拟管理节点组。

7 STable：多表聚合

各个数据采集点的时钟是很难同步的，为保证其时序，而且为保证单一采集点的数据在存储介质上的连续性，思极有容时序数据库要求每个数据采集点单独建表，这样能极大提高数据的插入速度以及查询速度，但是这将导致系统表的数量猛增，让应用对表的维护以及聚合、统计操作难度加大。为降低应用的开发难度，思极有容时序数据库引入了STable超级表的概念。

STable是表的集合，包含多张表，而且这个集合里每张表的Schema是一样的。同一类型的采集设备可创建一个STable。与表一样，包含Schema，但还包含标签信息。Schema定义了表的每列数据的属性，如温度、压力等，而标签信息是静态的，属于Meta Data，如采集设备的型号、位置等。思极有容时序数据库扩展了标准SQL的table的定义，创建时，除指定Schema外，还可以带关键词tags来指定有哪些标签。如：

create table m1(ts timestamp, pressure int, rpm int) tags (model binary(8), color binary(8))

上述SQL创建了一个STable m1, 带有标签model和标签color。为某一个具体的采集点创建表时，可以指定其所属的STable以及标签的值，比如：

create table t1 using m1 tags (‘apple’, ‘red’)

上述SQL以STable m1为模板，创建了一张表t1，这张表的Schema就是m1的Schema，但标签model设为apple，标签color设为red。插入数据时，仍然按照正常的方式进行插入。但查询时，除传统的表的查询外，还可以基于标签对STable进行各种聚合查询或统计。如：

select avg(pressue) from m1 where model=’apple’ interval(5m) group by color

上面这个SQL语句表示将标签model值为apple的所有采集点的记录的每5分钟的平均值计算出来,并按照标签color进行分组。

对于STable的查询操作，完全与正常的表一样。但一个定义的STable可以包含多张表（多个数据采集点），应用可通过指定标签的过滤条件，对一个STable下的全部或部分表进行聚合或统计操作，这样大大简化应用的开发。其具体流程如下图所示：

 

1) 、应用将一个查询条件发往系统；

2) 、Driver将查询的过滤条件发往Meta Node（管理节点)；

3) 、管理节点将符合查询过滤条件的表的列表发回Driver(包含每个表对应的数据节点的IP地址)；

4) 、这些返回的表可能分布在多个数据节点，Driver将计算的请求发往相应的多个数据节点；

5) 、每个数据节点完成相应的聚合计算，将结果返回给Driver；

6) 、Driver将多个数据节点返回的结果做最后的聚合，将其返回给应用。

8 数据模型

思极有容时序数据库采用的仍然是传统的关系型数据库的模型。用户需要根据应用场景，创建一到多个库，然后在每个库里创建多张表，创建表时需要定义Schema。对于同一类型的采集点，为便于聚合统计操作，可以先定义超级表STable，然后再定义表。

不同的采集点往往具有不同的数据特征，比如有的采集点数据采集频率高，有的数据保留时长较长，有的采集数据需要3份备份，而有的数据一份备份即可，有的采集点一条记录很大，而有的采集点的记录仅仅16个字节，很小。为让各种场景下思极有容时序数据库都能最大效率的工作，思极有容时序数据库建议将不同数据特征的表创建在不同的库里。创建一个库时，除SQL标准的选项外，应用还可以指定保留时长、数据备份的份数、cache大小、是否压缩等多种参数。

思极有容时序数据库对库的数量、STable的数量以及表的数量没有做任何限制，而且其多少不会对性能产生影响，应用按照自己的场景创建即可。

9 实时流式计算

在存储的原始数据上，思极有容时序数据库可以做各种计算，目前支持的主要操作包括：

· Avg：以每个采样时间范围内的value的平均值作为结果

· Dev：以每个采样时间范围内的value的标准差作为结果

· Count：以每个采样时间范围内的点的数目作为结果

· First：以每个采样时间范围内的第一个value作为结果

· Last：以每个采样时间范围内的最后一个value作为结果

· LeastSquares：对每个采样时间范围内的value进行最小二乘法的拟合

· Max：以每个采样时间范围内的value的最大值作为结果

· Min：以每个采样时间范围内的value的最小值作为结果

· Percentile：每个采样时间范围内的value的第p百分位数作为结果。

· Sum：以每个采样时间范围内的value的总和作为结果

· Diff：以每两个相邻的value的差值作为结果

· Div：以每个value除以一个除数作为结果

· Scale：以每个value乘以一个倍数作为结果

· 基于多个采集点数据的四则运算表达式

思极有容时序数据库还可对一个或多个数据流进行实时聚合、统计等计算，并将计算出的衍生数据当做新的数据保存进思极有容时序数据库，以便后续的操作。实时计算与聚合查询很类似，只是后台定时进行，并自动滑动计算窗口的起始点。工作方式与其他流式计算引擎的Sliding Window相似。

实时计算可以通过一个简单的创建表的操作来实现。如：

create table d1 as select avg (pressure) from t1 interval (60s) sliding(10s)

上述SQL表示将表t1里字段pressure每10秒钟(每次滑动的时间间隔）将过去的60秒钟（聚合计算的时间间隔）的数据平均值计算出来并写入表d1。计算出的衍生数据可以与其他原始数据或计算出的衍生数据进行再次计算。

10 便捷的安装、部署、维护

思极有容时序数据库是在Linux上开发的，任何Linux系统都可以运行，而且不依赖任何第三方软件，也不是在某个开源项目上包装出来的产品。获得安装包并解压后，只需执行安装脚本就一切搞定，极其简单。

安装后，会在安装的机器上自动创建虚拟数据节点和管理节点，开发者就可以使用了，能满足一般性的需求。但如果数据量大，就需要将软件安装到多台主机。这时也只需要在每台机器配置好Master IP, 系统管理员打开思极有容时序数据库Shell, 将新添加的主机添加进系统即可。如果要撤销一个物理节点，登录思极有容时序数据库 Shell, 将其删除即可，极其简单。传统数据库所需要的数据分区、数据迁移等等都一概不存在。

因为数据是自动同步到多个节点的，系统管理员不用担心数据的丢失，也不用制定备份和数据恢复策略，一切全自动进行。

如果软件需要升级，只要在思极有容时序数据库Shell里将新版本上传即可。管理节点将挨个把每个节点的软件进行升级，而且整个系统的服务将不停止，服务不受任何影响。如果要更换设备，只需将其拔除，安装上软件后，将新设备重新插入即可。换言之，思极有容时序数据库完全支持在线升级以及硬件的热插拔，从而保证服务的724的不间断运行。

开发人员需要做的是定义表的结构，根据具体场景，配置好各种参数，让系统性能达到最优。系统管理员只需要关注与硬件相关的报警信息，对于经常出问题的服务器或硬盘，进行更换而已。使用思极有容时序数据库, 整个系统的运维工作变得极为简单，将大大降低运营成本。

11 更多亮点

订阅模式：与标准的数据库不同，思极有容时序数据库还提供一种订阅模式。应用程序可以订阅数据库某张表的内容，一旦该表有新的记录，应用将立即得到通知。同一个表可以被多个应用订阅。与流行的消息中间件Kafka一样，订阅采取的是pull而不是push模式。Kafka的publish操作由数据库插入操作代替。由于思极有容时序数据库具有极高的插入速度, 通过采用订阅模式，思极有容时序数据库本身也可以作为一个消息队列中间件来使用。

异步插入：为避免网络延迟带来的性能下降，更好的提高数据插入速度，思极有容时序数据库还提供一组API让应用异步插入数据。当应用调用插入API时，将立即得到反馈，等记录成功插入后，思极有容时序数据库将调用应用提供的回调函数通知应用。采用异步插入，性能将大幅提高。

Nagle算法：时序数据应用场景里，每条记录一般都很小，很多不到20字节，因此整个系统处理的是大量的小数据包。为了更进一步提高性能，减少网络IO次数，思极有容时序数据库采用了类似TCP协议的Naggle算法，客户端将缓存插入请求，只有记录的大小超过一定的大小或者缓存时间超过100毫秒，被缓存的插入请求才会被发往系统。对于时间要求很高的应用，该功能可以关闭。

12 参数指标

· 支持数据类型：tinyint, smallint, int, bigint, float, double, binary

· 单记录最大长度：4096字节

· 最大记录条数：仅受存储空间限制

· 最大表的个数：仅受节点个数限制

· 最大数据备份数：5份

· 单节点插入速度：3万条/秒(单核，16字节每记录，每次一条，无同步备份)

· 单节点查询速度：2000万条/秒(单核，16字节每记录，全内存)

· 更多指标将陆续提供

13 应用场景

思极有容时序数据库作为一个基础性的软件，应用范围及其广泛，原则上，所有使用机器、设备、传感器采集数据的地方都可以用上。一些典型场景罗列如下：

· 公共安全：上网记录、通话记录、个体追踪、区间筛选

· 电力行业：智能电表、电网、发电设备的集中监测

· 通讯行业：话费详单、用户行为、基站/通讯设备监测

· 金融行业：交易记录、存取记录、ATM、POS机监测

· 出行工具：火车/汽车/出租/飞机/自行车的实时监测

· 交通行业：实时路况，路口流量监测，卡口数据

· 石油石化：油井、运输管线、运输车队的实时监测

· 互联网：服务器/应用监测、用户访问日志、广告点击日志

· 物流行业：车辆、集装箱的追踪监测

· 环境监测：天气、空气、水文、地质环境等监测

· 物联网：电梯、锅炉、机械、水表、气表等各种联网设备

· 军工行业：各种军事装备的数据采集、存储

· 制造业：生产过程管控，流程数据、供应链数据采集与分析

网页链接 技术白皮书网页链接请单击查看！

CPU又叫中央处理器，是英文单词Central Processing Unit的缩写，负责对信息和数据进行运算和处理，并实现本身运行过程的自动化。在早期的计算机当中，CPU被分成了运算器和控 制器两个部分，后来由于电路集成度的提高，在微处理器问世时，就将它们都集成在一个芯片中了。需要智能控制、大量信息处理的地方就会 用到CPU。

CPU有通用CPU和嵌入式CPU，通用和嵌入式的分别，主要是根据应用模式的不同而划分的。通用CPU芯片的功能一般比较强，能运 行复杂的操作系统和大型应用软件。嵌入式CPU在功能和性能上有很大的变化范围。随着集成度的提高，在嵌入式应用中，人们倾向于把CPU、 存储器和一些外围电路集成到一个芯片上，构成所谓的系统芯片（简称为SOC），而把SOC上的那个CPU成为CPU芯核。

现在，指令系统的优化设计有两个截然相反的方向。一个是增强指令的功能,设置一些功能复杂的指令，把一些原来有软件实现的常用功能 改用硬件的指令系统来实现，这种计算机成为复杂指令系统计算机。早期Intel的X86指令体系就是一种CISC指令结构。

RISC是Reduced Instruction Set Computer的缩写中文翻译成精简指令系统计算机，是八十年代发展起来的，尽量简化指令功能，只保留那些功能简单，能在 一个节拍内执行完成的指令，较复杂的功能用一段子程序来实现，这种计算机系统成为精简指令系统计算机。目前采用RISC体系结构的处理器 的芯片厂商有SUN、SGI、IBM的Power PC系列、DEC公司的Alpha系列、Motorola公司的龙珠和Power PC等等。

介绍一下 MIPS体系。

MIPS是世界上很流行的一种RISC处理器。MIPS的意思是"无内部互锁流水级的微处理器"(Microprocessor without interlocked piped stages)，其机制是尽量利用软件办法避免流水线中的数据相关问题。他最早是在80年代初期由斯坦福（Stanford）大学 Hennessy教授领导的研究小组研制出来的。MIPS公司的R系列就是在此基础上开发的RISC工业产品的微处理器。这些系列产品以为很多打计算机 公司采用构成各种工作站和计算机系统。

指令系统

要讲CPU，就必须先讲一下指令系统。 指令系统指的是一个CPU所能够处理的全部指

令的集合，是一个CPU的根本属性。比如我们现在所用的CPU都是采用x86指令集的，他们都是 同一类型的CPU，不管是PIII、Athlon或Joshua。我们也知道，世界上还有比PIII和Athlon快得多的CPU，比如Alpha，但它们不是用x86指令集 ，不能使用数量庞大的基于x86指令集的程序，如Windows98。之所以说指令系统是一个CPU的根本属性，是因为指令系统决定了一个CPU能够运 行什么样的程序。

所有采用高级语言编出的程序，都需要翻译（编译或解释）成为机器语言后才能运行，这些机器语言中 所包含的就是一条条的指令。

1、 指令的格式

一条指令一般包括两个部分：操作码和地址码。操 作码其实就是指令序列号，用来告诉CPU需要执行的是那一条指令。地址码则复杂一些，主要包括源操作数地址、目的地址和下一条指令的地址 。在某些指令中，地址码可以部分或全部省略，比如一条空指令就只有操作码而没有地址码。

举个例子吧，某个指令系统 的指令长度为32位，操作码长度为8位，地址长度也为8位，且第一条指令是加，第二条指令是减。当它收到一个 “00000010000001000000000100000110”的指令时，先取出它的前8位操作码，即00000010，分析得出这是一个减法操作，有3个地址，分别是 两个源操作数地址和一个目的地址。于是，CPU就到内存地址00000100处取出被减数，到00000001处取出减数，送到ALU中进行减法运算，然后 把结果送到00000110处。

这只是一个相当简单化的例子，实际情况要复杂的多

2、 指令的分类与寻址 方式

一般说来，现在的指令系统有以下几种类型的指令：

（1）算术逻辑运算指令

算术逻辑运算 指令包括加减乘除等算术运算指令，以及与或非异或等逻辑运算指令。现在的指令系统还加入了一些十进制运算指令以及字符串运算指令等。

（2）浮点运算指令

用于对浮点数进行运算。浮点运算要大大复杂于整数运算，所以CPU中一般还会有专门负责浮点运 算的浮点运算单元。现在的浮点指令中一般还加入了向量指令，用于直接对矩阵进行运算，对于现在的多媒体和3D处理很有用。

（3）位 操作指令

学过C的人应该都知道C语言中有一组位操作语句，相对应的，指令系统中也有一组位操作指令，如左移一位右移 一位等。对于计算机内部以二进制不码表示的数据来说，这种操作是非常简单快捷的。

（4）其他指令

上面三种都是 运算型指令，除此之外还有许多非运算的其他指令。这些指令包括：数据传送指令、堆栈操作指令、转移类指令、输入输出指令和一些比较特 殊的指令，如特权指令、多处理器控制指令和等待、停机、空操作等指令。

对于指令中的地址码，也会有许多不同的寻址 （编址）方式，主要有直接寻址，间接寻址，寄存器寻址，基址寻址，变址寻址等，某些复杂的指令系统会有几十种甚至更多的寻址方式。

3、 CISC与RISC

CISC，Complex Instruction Set Computer，复杂指令系统计算机。RISC，Reduced Instruction Set Computer，精简指令系统计算机。虽然这两个名词是针对计算机的，但下文我们仍然只对指令集进行研究。

（1）CISC 的产生、发展和现状

一开始，计算机的指令系统只有很少一些基本指令，而其他的复杂指令全靠软件编译时通过简单指令 的组合来实现。举个最简单的例子，一个a乘以b的操作就可以转换为a个b相加来做，这样就用不着乘法指令了。当然，最早的指令系统就已经 有乘法指令了，这是为什么呢？因为用硬件实现乘法比加法组合来得快得多。

由于那时的计算机部件相当昂贵，而且速度 很慢，为了提高速度，越来越多的复杂指令被加入了指令系统中。但是，很快又有一个问题：一个指令系统的指令数是受指令操作码的位数所 限制的，如果操作码为8位，那么指令数最多为256条（2的8次方）。

那么怎么办呢？指令的宽度是很难增加的，聪明的设计师们又想出了 一种方案：操作码扩展。前面说过，操作码的后面跟的是地址码，而有些指令是用不着地址码或只用少量的地址码的。那么，就可以把操作码 扩展到这些位置。

举个简单的例子，如果一个指令系统的操作码为2位，那么可以有00、01、10、11四条不同的指令。现在 把11作为保留，把操作码扩展到4位，那么就可以有00、01、10、1100、1101、1110、1111七条指令。其中1100、1101、1110、1111这四条指令 的地址码必须少两位。

然后，为了达到操作码扩展的先决条件：减少地址码，设计师们又动足了脑筋，发明了各种各样的寻址方式，如基 址寻址、相对寻址等，用以最大限度的压缩地址码长度，为操作码留出空间。

就这样，慢慢地，CISC指令系统就形成了， 大量的复杂指令、可变的指令长度、多种的寻址方式是CISC的特点，也是CISC的缺点：因为这些都大大增加了解码的难度，而在现在的高速硬 件发展下，复杂指令所带来的速度提升早已不及在解码上浪费点的时间。除了个人PC市场还在用x86指令集外，服务器以及更大的系统都早已不 用CISC了。x86仍然存在的唯一理由就是为了兼容大量的x86平台上的软件。

]：（2）RISC的产生、发展和现状

1975年，IBM的设计师John Cocke研究了当时的IBM370CISC系统，发现其中占总指令数仅20%的简单指令却在程序调用中占了80% ，而占指令数80%的复杂指令却只有20%的机会用到。由此，他提出了RISC的概念。

事实证明，RISC是成功的。80年代末，各公司的RISC CPU如雨后春笋般大量出现，占据了大量的市场。到了90年代，x86的CPU如pentium和k5也开始使用先进的RISC核心。

RISC 的最大特点是指令长度固定，指令格式种类少，寻址方式种类少，大多数是简单指令且都能在一个时钟周期内完成，易于设计超标量与流水线 ，寄存器数量多，大量操作在寄存器之间进行。由于下文所讲的CPU核心大部分是讲RISC核心，所以这里就不多介绍了，对于RISC核心的设计下 面会详细谈到。

RISC目前正如日中天，Intel的Itanium也将最终抛弃x86而转向RISC结构。

二、CPU内核结构

好吧 ，下面来看看CPU。CPU内核主要分为两部分：运算器和控制器。

（一） 运算器

1、 算术逻辑运算单元ALU（Arithmetic and Logic Unit）

ALU主要完成对二进制数据的定点算术运算（加减乘除）、逻辑运算（与或非异或）以及移位操作。在某些CPU中还 有专门用于处理移位操作的移位器。

通常ALU由两个输入端和一个输出端。整数单元有时也称为IEU（Integer Execution Unit）。我们通常所说的“CPU是XX位的”就是指ALU所能处理的数据的位数。

2、 浮点运算单元FPU（Floating Point Unit）

FPU主要负责浮点运算和高精度整数运算。有些FPU还具有向量运算的功能，另外一些则有专门的向量处理单元。

3、通用寄存器组

通用寄存器组是一组最快的存储器，用来保存参加运算的操作数和中间结果。

在通用寄存器的设计上，RISC与CISC有 着很大的不同。CISC的寄存器通常很少，主要是受了当时硬件成本所限。比如x86指令集只有8个通用寄存器。所以，CISC的CPU执行是大多数时 间是在访问存储器中的数据，而不是寄存器中的。这就拖慢了整个系统的速度。而RISC系统往往具有非常多的通用寄存器，并采用了重叠寄存 器窗口和寄存器堆等技术使寄存器资源得到充分的利用。

对于x86指令集只支持8个通用寄存器的缺点，Intel和AMD的最新 CPU都采用了一种叫做“寄存器重命名”的技术，这种技术使x86CPU的寄存器可以突破8个的限制，达到32个甚至更多。不过，相对于RISC来说 ，这种技术的寄存器操作要多出一个时钟周期，用来对寄存器进行重命名。

4、 专用寄存器

专用寄存器通常是一些状 态寄存器，不能通过程序改变，由CPU自己控制，表明某种状态。

（二） 控制器

运算器只能完成运算，而控 制器用于控制着整个CPU的工作。

1、 指令控制器

指令控制器是控制器中相当重要的部分，它要完成取指令、分析指令等操作，然 后交给执行单元（ALU或FPU）来执行，同时还要形成下一条指令的地址。

2、 时序控制器

时序控制器的作用是为每条 指令按时间顺序提供控制信号。时序控制器包括时钟发生器和倍频定义单元，其中时钟发生器由石英晶体振荡器发出非常稳定的脉冲信号，就 是CPU的主频；而倍频定义单元则定义了CPU主频是存储器频率（总线频率）的几倍。

3、 总线控制器

总线控制器主要用于控制CPU 的内外部总线，包括地址总线、数据总线、控制总线等等。

4、中断控制器

中断控制器用于控制各种各样的中断请求，并根据优先 级的高低对中断请求进行排队，逐个交给CPU处理。

（三） CPU核心的设计

CPU的性能是由什么决定的呢？单纯的一个ALU速度在一个CPU中并不起决定性作用，因为ALU的速度都差不多。而一个CPU的性能表现的决 定性因素就在于CPU内核的设计。

1、超标量（Superscalar）

既然无法大幅提高ALU的速度，有什么替代的方法呢？并行处理的方 法又一次产生了强大的作用。所谓的超标量CPU，就是只集成了多个ALU、多个FPU、多个译码器和多条流水线的CPU，以并行处理的方式来提高 性能。

超标量技术应该是很容易理解的，不过有一点需要注意，就是不要去管“超标量”之前的那个数字，比如“9路超标量”，不同 的厂商对于这个数字有着不同的定义，更多的这只是一种商业上的宣传手段。

2、流水线（Pipeline）

流水线是现代RISC核心的一 个重要设计，它极大地提高了性能。

对于一条具体的指令执行过程，通常可以分为五个部分：取指令，指令译码，取操作数，运算 （ALU），写结果。其中前三步一般由指令控制器完成，后两步则由运算器完成。按照传统的方式，所有指令顺序执行，那么先是指令控制器工 作，完成第一条指令的前三步，然后运算器工作，完成后两步，在指令控制器工作，完成第二条指令的前三步，在是运算器，完成第二条指令 的后两部……很明显，当指令控制器工作是运算器基本上在休息，而当运算器在工作时指令控制器却在休息，造成了相当大的资源浪费。解决 方法很容易想到，当指令控制器完成了第一条指令的前三步后，直接开始第二条指令的操作，运算单元也是。这样就形成了流水线系统，这是 一条2级流水线。

如果是一个超标量系统，假设有三个指令控制单元和两个运算单元，那么就可以在完成了第一条指令的取址工作后直 接开始第二条指令的取址，这时第一条指令在进行译码，然后第三条指令取址，第二条指令译码，第一条指令取操作数……这样就是一个5级流 水线。很显然，5级流水线的平均理论速度是不用流水线的4倍。

流水线系统最大限度地利用了CPU资源，使每个部件在每个时钟周期都 工作，大大提高了效率。但是，流水线有两个非常大的问题：相关和转移。

在一个流水线系统中，如果第二条指令需要用到第一条指 令的结果，这种情况叫做相关。以上面哪个5级流水线为例，当第二条指令需要取操作数时，第一条指令的运算还没有完成，如果这时第二条指 令就去取操作数，就会得到错误的结果。所以，这时整条流水线不得不停顿下来，等待第一条指令的完成。这是很讨厌的问题，特别是对于比 较长的流水线，比如20级，这种停顿通常要损失十几个时钟周期。目前解决这个问题的方法是乱序执行。乱序执行的原理是在两条相关指令中 插入不相关的指令，使整条流水线顺畅。比如上面的例子中，开始执行第一条指令后直接开始执行第三条指令（假设第三条指令不相关），然 后才开始执行第二条指令，这样当第二条指令需要取操作数时第一条指令刚好完成，而且第三条指令也快要完成了，整条流水线不会停顿。当 然，流水线的阻塞现象还是不能完全避免的，尤其是当相关指令非常多的时候。

另一个大问题是条件转移。在上面的例子中，如果第 一条指令是一个条件转移指令，那么系统就会不清楚下面应该执行那一条指令？这时就必须等第一条指令的判断结果出来才能执行第二条指令 。条件转移所造成的流水线停顿甚至比相关还要严重的多。所以，现在采用分支预测技术来处理转移问题。虽然我们的程序中充满着分支，而 且哪一条分支都是有可能的，但大多数情况下总是选择某一分支。比如一个循环的末尾是一个分支，除了最后一次我们需要跳出循环外，其他 的时候我们总是选择继续循环这条分支。根据这些原理，分支预测技术可以在没有得到结果之前预测下一条指令是什么，并执行它。现在的分 支预测技术能够达到90%以上的正确率，但是，一旦预测错误，CPU仍然不得不清理整条流水线并回到分支点。这将损失大量的时钟周期。所以 ，进一步提高分支预测的准确率也是正在研究的一个课题。

越是长的流水线，相关和转移两大问题也越严重，所以，流水线并不是越 长越好，超标量也不是越多越好，找到一个速度与效率的平衡点才是最重要的。

1、解码器（Decode Unit）

这是x86CPU才有的东西，它的作用是把长度不定的x86指令转换为长度固定的类似于RISC的指令，并交给RISC内核。解码分为硬件解码和微解码 ，对于简单的x86指令只要硬件解码即可，速度较快，而遇到复杂的x86指令则需要进行微解码，并把它分成若干条简单指令，速度较慢且很复 杂。好在这些复杂指令很少会用到。

Athlon也好，PIII也好，老式的CISC的x86指令集严重制约了他们的性能表现。

2、一级缓存 和二级缓存（Cache）

以及缓存和二级缓存是为了缓解较快的CPU与较慢的存储器之间的矛盾而产生的，以及缓存通常集成在CPU内核， 而二级缓存则是以OnDie或OnBoard的方式以较快于存储器的速度运行。对于一些大数据交换量的工作，CPU的Cache显得尤为重要。

　近期接到一个开发任务 业务方面不再详述 要求每天定时执行一段应用程序用来同步俩个数据库

　正好近期一直在用spring做相关开发 尝试了下Quartz 感觉不错 目前也正在学习中

　Quartz使用Trigger Job以及JobDetail等对象来进行各种类型的任务调度 Spring对其提供了很好的支持

　建立一个时序调度程序的过程如下 ) 配置Job及JobDetail Bean 定义执行某个类里的特定方法 ) 配置Trigger Bean 定义触发JobDetail的时间规律 ) 配置SchedulerFactoryBean负责调度实际的Trigger 时序调度的运行模式有两种 ) 一种是在某个特定时间自动运行 例如每天凌晨 点备份数据 每月初 号统计上月的数据等 我们称之为定时调度

　 )另一种是在服务启动一段时间后开始运行 再每隔一段时间再次运行 如系统监控程序每个 分钟就要测试一下数据库是否连接正常 我们称之为重复调度

　下面举出两个简单的范例 详细原理和配置方法请参考 Spring 官方文档和程序范例的ApplicationContext quartz xml 文件

　一 定时调度参数配置是在每天的 : 的时间自动执行CronSimpleJob java 类中的 executeInternal()方法 在系统控制台上输 出日志内容

　ApplicationContext quartz xml内容

　view plaincopy to clipboardprint    <bean id= scheduler class= springframework scheduling quartz SchedulerFactoryBean >

　<property name= triggers >

　<list>

　<ref local= cronSimpleTrigger />

　</list>

　</property>

　</bean>

　! 定时简单JobDetail >

　<bean id= cronSimpleJob class= springframework scheduling quartz JobDetailBean >

　<property name= jobClass value= test quartz CronSimpleJob />

　</bean>

　<! 定时简单Trigger >

　<bean id= cronSimpleTrigger class= springframework scheduling quartz CronTriggerBean >

　<property name= jobDetail ref= cronSimpleJob />

　<property name= cronExpression value= />

　</bean>

　<bean id= scheduler class= springframework scheduling quartz SchedulerFactoryBean >

　<property name= triggers >

　<list>

　<ref local= cronSimpleTrigger />

　</list>

　</property>

　</bean>

　<! 定时简单JobDetail >

　<bean id= cronSimpleJob class= springframework scheduling quartz JobDetailBean >

　<property name= jobClass value= test quartz CronSimpleJob />

　</bean>

　<! 定时简单Trigger >

　<bean id= cronSimpleTrigger class= springframework scheduling quartz CronTriggerBean >

　<property name= jobDetail ref= cronSimpleJob />

　<property name= cronExpression value= />

　</bean>CronSimpleJob java文件内容

　view plaincopy to clipboardprint    package test quartz;

　import mons logging Log;

　import mons logging LogFactory;

　import quartz JobExecutionContext;

　import springframework scheduling quartz QuartzJobBean;

　public class CronSimpleJob extends QuartzJobBean

　{

　private final Log logger = LogFactory getLog(getClass());

　protected void executeInternal(JobExecutionContext context)

　{

　logger warn(getClass() getName() + out it! );

　}

　}

　package test quartz;

　import mons logging Log;

　import mons logging LogFactory;

　import quartz JobExecutionContext;

　import springframework scheduling quartz QuartzJobBean;

　public class CronSimpleJob extends QuartzJobBean

　{

　private final Log logger = LogFactory getLog(getClass());

　protected void executeInternal(JobExecutionContext context)

　{

　logger warn(getClass() getName() + out it! );

　}

　}

　二 重复调度 view plaincopy to clipboardprint    在服务器启动 毫秒即 秒钟后 调度程序首次执行 以后每隔 毫秒即 分钟再次执行

　在服务器启动 毫秒即 秒钟后 调度程序首次执行 以后每隔 毫秒即 分钟再次执行 view plaincopy to clipboardprint    自动执行RepeatMethodJob java类中的testRepeatMethod()方法 在系统控制台上输出日志内容

　自动执行RepeatMethodJob java类中的testRepeatMethod()方法 在系统控制台上输出日志内容 view plaincopy to clipboardprint    对于相同的JobDetail 当指定多个Trigger时 很可能第一个job完成之前 第二个job就开始了

　对于相同的JobDetail 当指定多个Trigger时 很可能第一个job完成之前 第二个job就开始了 view plaincopy to clipboardprint    指定concurrent设为false 多个job不会并发执行 第二个job将不会在第一个job完成之前开始

　指定concurrent设为false 多个job不会并发执行 第二个job将不会在第一个job完成之前开始 view plaincopy to clipboardprint    ApplicationContext quartz xml内容

　ApplicationContext quartz xml内容     view plaincopy to clipboardprint    <! 逻辑bean >

　<bean id= repeatMethodJob class= test quartz RepeatMethodJob />

　<! 间隔方法JobDetail >

　<bean id= repeatMethodJobDetail class= springframework scheduling quartz MethodInvokingJobDetailFactoryBean >

　<property name= targetObject ref= repeatMethodJob />

　<property name= targetMethod value= testRepeatMethod />

　<property name= concurrent value= false />

　</bean>

　<! 间隔方法Trigger >

　<bean id= repeatMethodTrigger class= springframework scheduling quartz SimpleTriggerBean >

　<property name= jobDetail ref= repeatMethodJobDetail />

　<property name= startDelay value= />

　<property name= repeatInterval value= />

　</bean>

　<! 逻辑bean >

　<bean id= repeatMethodJob class= test quartz RepeatMethodJob />

　<! 间隔方法JobDetail >

　<bean id= repeatMethodJobDetail class= springframework scheduling quartz MethodInvokingJobDetailFactoryBean >

　<property name= targetObject ref= repeatMethodJob />

　<property name= targetMethod value= testRepeatMethod />

　<property name= concurrent value= false />

　</bean>

　<! 间隔方法Trigger >

　<bean id= repeatMethodTrigger class= springframework scheduling quartz SimpleTriggerBean >

　<property name= jobDetail ref= repeatMethodJobDetail />

　<property name= startDelay value= />

　<property name= repeatInterval value= />

　</bean>view plaincopy to clipboardprint    RepeatMethodJob java文件内容

　RepeatMethodJob java文件内容 view plaincopy to clipboardprint    <PRE class=java name= code >package test quartz;

　import mons logging Log;

　import mons logging LogFactory;

　public class RepeatMethodJob

　{

　private final Log logger = LogFactory getLog(getClass());

　public void testRepeatMethod(){

　logger warn(getClass() getName()+ out it! );

　}

　}

　</PRE>    <PRE class=java name= code > </PRE>    <PRE class=java name= code > </PRE>    <PRE class=java name= code >关于cronExpression </PRE>    <PRE class=java name= code ><IMG height= alt= src= width= ffan= done ></PRE>    <PRE class=java name= code ><IMG alt= src= ffan= done ></PRE>

　view plaincopy to clipboardprintpackage test quartz;     import mons logging Log;     import mons logging LogFactory;         public class RepeatMethodJob     {     private final Log logger = LogFactory getLog(getClass());         public void testRepeatMethod(){     logger warn(getClass() getName()+ out it! );     }     }  package test quartz;

　import mons logging Log;

　import mons logging LogFactory;

　public class RepeatMethodJob

　{

　private final Log logger = LogFactory getLog(getClass());

　public void testRepeatMethod(){

　logger warn(getClass() getName()+ out it! );

　}

　}    view plaincopy to clipboardprint    view plaincopy to clipboardprint    view plaincopy to clipboardprint关于cronExpression   关于cronExpression     view plaincopy to clipboardprint<IMG height= alt= src= width= ffan= done >    view plaincopy to clipboardprint<IMG alt= src= ffan= done >    view plaincopy to clipboardprint

lishixinzhi/Article/program/Java/ky/201311/28087