什么是集群?
集群主要分成三大类 (高可用集群, 负载均衡集群,科学计算集群)
高可用集群( High Availability Cluster)
负载均衡集群(Load Balance Cluster)
科学计算集群(High Performance Computing Cluster)
1、高可用集群(High Availability Cluster)
常见的就是2个节点做成的HA集群,有很多通俗的不科学的名称,比如”双机热备”, “双机互备”, “双机”。高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。 (请注意高可用集群既不是用来保护业务数据的,保护的是用户的业务程序对外不间断提供服务,把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)。
2、负载均衡集群(Load Balance Cluster)
负载均衡系统:集群中所有的节点都处于活动状态,它们分摊系统的工作负载。一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。
负载均衡集群一般用于相应网络请求的网页服务器,数据库服务器。这种集群可以在接到请求时,检查接受请求较少,不繁忙的服务器,并把请求转到这些服务器上。从检查其他服务器状态这一点上看,负载均衡和容错集群很接近,不同之处是数量上更多。
3、科学计算集群(High Performance Computing Cluster)
高性能计算(High Perfermance Computing)集群,简称HPC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。
高性能计算分类:
31、高吞吐计算(High-throughput Computing)
有一类高性能计算,可以把它分成若干可以并行的子任务,而且各个子任务彼此间没有什么关联。象在家搜寻外星人( SETI@HOME – Search for Extraterrestrial Intelligence at Home )就是这一类型应用。
这一项目是利用Internet上的闲置的计算资源来搜寻外星人。SETI项目的服务器将一组数据和数据模式发给Internet上参加SETI的计算节点,计算节点在给定的数据上用给定的模式进行搜索,然后将搜索的结果发给服务器。服务器负责将从各个计算节点返回的数据汇集成完整的 数据。因为这种类型应用的一个共同特征是在海量数据上搜索某些模式,所以把这类计算称为高吞吐计算。
所谓的Internet计算都属于这一类。按照 Flynn的分类,高吞吐计算属于SIMD(Single Instruction/Multiple Data)的范畴。
32、分布计算(Distributed Computing)
另一类计算刚好和高吞吐计算相反,它们虽然可以给分成若干并行的子任务,但是子任务间联系很紧密,需要大量的数据交换。按照Flynn的分类,分布式的高性能计算属于MIMD(Multiple Instruction/Multiple Data)的范畴。
下面说说这几种集群的应用场景:
高可用集群这里不多作说明。
想Dubbo是比较偏向于负载均衡集群,用过的猿友应该知道(不知道的可以自行了解一下),Dubbo同一个服务是可以有多个提供者的,当一个消费者过来,它要消费那个提供者,这里是有负载均衡机制在里面的。
搜索引擎Elasticsearch比较偏向于科学计算集群的分布计算。
而到这里,可能不少猿友都知道,集群的一些术语:集群容错、负载均衡。
我们以Dubbo为例:
集群容错(http://dubboio/User+Guide-zhhtm#UserGuide-zh-%E9%9B%86%E7%BE%A4%E5%AE%B9%E9%94%99)
Dubbo提供了这些容错策略:
集群容错模式:
可以自行扩展集群容错策略,参见:集群扩展
Failover Cluster
失败自动切换,当出现失败,重试其它服务器。(缺省)
通常用于读操作,但重试会带来更长延迟。
可通过retries="2"来设置重试次数(不含第一次)。
Failfast Cluster
快速失败,只发起一次调用,失败立即报错。
通常用于非幂等性的写操作,比如新增记录。
Failsafe Cluster
失败安全,出现异常时,直接忽略。
通常用于写入审计日志等操作。
Failback Cluster
失败自动恢复,后台记录失败请求,定时重发。
通常用于消息通知操作。
Forking Cluster
并行调用多个服务器,只要一个成功即返回。
通常用于实时性要求较高的读操作,但需要浪费更多服务资源。
可通过forks="2"来设置最大并行数。
Broadcast Cluster
广播调用所有提供者,逐个调用,任意一台报错则报错。(210开始支持)
通常用于通知所有提供者更新缓存或日志等本地资源信息。
负载均衡(http://dubboio/User+Guide-zhhtm#UserGuide-zh-%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1)
Dubbo提供了这些负载均衡策略:
Random LoadBalance
随机,按权重设置随机概率。
在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动态调整提供者权重。
RoundRobin LoadBalance
轮循,按公约后的权重设置轮循比率。
存在慢的提供者累积请求问题,比如:第二台机器很慢,但没挂,当请求调到第二台时就卡在那,久而久之,所有请求都卡在调到第二台上。
LeastActive LoadBalance
最少活跃调用数,相同活跃数的随机,活跃数指调用前后计数差。
使慢的提供者收到更少请求,因为越慢的提供者的调用前后计数差会越大。
ConsistentHash LoadBalance
一致性Hash,相同参数的请求总是发到同一提供者。
当某一台提供者挂时,原本发往该提供者的请求,基于虚拟节点,平摊到其它提供者,不会引起剧烈变动。
算法参见:http://enwikipediaorg/wiki/Consistent_hashing。
缺省只对第一个参数Hash,如果要修改,请配置<dubbo:parameter key="hasharguments" value="0,1" />
缺省用160份虚拟节点,如果要修改,请配置<dubbo:parameter key="hashnodes" value="320" />
有两种常用的服务器集群方法,一种是将备份服务器连接在主服务器上,当主服务器发生故障时,备份服务器才投入运行,把主服务器上所有任务接管过来。另一种方法是将多台服务器连接,这些服务器一起分担同样的应用和数据库计算任务,改善关键大型应用的响应时间。同时,每台服务器还承担一些容错任务,一旦某台服务器出现故障时,系统可以在系统软件的支持下,将这台服务器与系统隔离,并通过各服务器的负载转嫁机制完成新的负载分配。PC服务器中较为常见的是两台服务器的集群,UNIX系统可支持8台服务器的集群系统,康柏的专用系统OpenVMS可支持多达96台服务器的集群系统。
IT168 技术故障转移群集可以配置使用多种不同的配置。组成群集的服务器可以是活跃状态或不活跃状态,而不同服务器可以被配置为在活跃服务器故障后立刻接管相应的资源。一般故障转移的过程只需要几分钟的时间,至于时间的长短主要取决于群集的配置和具体应用,当节点处于活跃状态时,该节点上可以使用所有资源。
当服务器故障后,在这台服务器上配置了故障转移群集的资源组就会被其他服务器所接管。当故障服务器重新上线后,群集服务可以配置为允许让原服务器进行故障回复,或者是让当前服务器继续处理新的客户端请求。本文章将讲述基于Windows Server 2008 R2的故障转移群集实现。
安装故障转移群集:
下面就开始在两个节点上安装群集服务。在此以server1为例,安装方法是:打开服务器管理器图标----添加功能,从中选择故障转移群集。
当两个节点安装完群集服务后,我们需要运行群集配置验证程序,来检查节点服务器、网络和存储设备是否符合群集要求。
仅当完整配置(服务器、网络和存储)可以通过验证配置向导中的所有测试时,微软才支持故障转移群集解决方式,另外,解决方案中的所有硬件组件均必须标记为certified for windows server 2008 R2。
方法是在server1或者是server2上进入故障转移群集管理器,单击验证配置。如下图所示:
因为我们需要验证的是群集中的所有节点,所以我们需要把所有节点都添加进来,如下图所示:
点击下一步之后,我们需要运行所有测试,如下图所示:
给出验证清单,也就是所要进行验证的项目。点击,下一步之后,开始出现下面的验证过程:
经过耐心的等待后,出现下图所示:
查看报告,只有一处关于网络的IP地址的警告,这应该是检测到节点间只有一块网卡相连,没有实现冗余,这不影响群集的创建。
点击故障转移群集管理器中的创建一个群集,如下图所示:
再次提示添加要加入群集的所有服务器,如下图所示:
下面,我们需要输入用于管理群集的访问点,也就是群集的名称和对应的 VIP。
接着,需要确认所输入的信息是否正确,如下图所示:
点击,下一步,开始创建群集:
最后,出现摘要信息,群集创建结束。
返回到故障转移群集管理器,查看群集的工作状态,可以看到,仲裁磁盘是我们前面所创建的quorum磁盘,如下图所示:
当前的仲裁配置模式是:节点和磁盘多数,这是因为我们所创建的群集是偶数个节点。
如果希望,更改群集的仲裁配置,可以点击下图所示的操作中,在此不再演示。
群集网络的配置:
下面需要对群集内的各个网络进行相应的配置,以确定它们的用途。
针对public网络,我们需要允许客户端进行访问,所以进行下图所示的操作:
注意,千万不要选错了网络,可以观察IP地址,点击属性,出现下图:
Heart网络的配置: 此网络只用于节点间的通讯,所以不应该允许客户端访问,操作同上,取消客户端的访问。允许群集使用,但不允许客户端访问。
针对store存储网络: 则是不允许群集使用,如下图所示:
群集已经搭建成功了,下面我们就来看看如何在上面安装具体的应用了,本篇先介绍一个简单的应用,实现文件服务器的故障转移群集,我们另一篇文章会详细介绍如何实现SQL Server 2008 R2的故障转移群集。
防火墙准备:节点服务器上必须允许远程卷管理,不然无法在群集内创建共享文件夹。操作方法是在public网络所在网络位置上,允许远程卷管理,如下图所示:
从这个图中可以看出public网络属于域网络,所以,我们只需要在域网络上允许远程卷管理即可。
当然,也可以直接将防火墙禁用。注意,所有节点上都要进行此步操作。
两个节点上都需要安装文件服务器角色,安装方法是服务器管理---角色----添加角色。如下图所示:
在如上图所示的界面中,选择文件服输,下一步后,出现下图所示,一定要选择文件服务器。
节点2上进行同样的操作,安装文件服务器角色。
然后,回到群集中,单击服务和应用程序,右边的配置服务或应用程序。
选择配置服务或应用程序后,出现下面的界面:
点中,文件服务器,此时系统会检查所有节点中是否已经安装了该服务,如果安装不正确,会报错。接下来需要输入客户端访问点的信息,如下图所示:
在此界面中,需要输入客户端访问此服务或应用程序时将使用的名称。名称我们就使用clusterFs,IP地址是客户端访问时所要使用的IP地址。此名称和IP地址会被注册到DNS服务器内。
选择分配给文件服务器的存储磁盘,在此,除了仲裁就是群集磁盘2了,如上图所示。出现确认信息后,开始进行配置,出现下图,表示配置结束。
回到故障转移群集管理器中,可以看到目前提供此服务的是Server1。
下面,我们就就来添加共享文件夹,点击下图中的添加共享文件夹按钮。
下面我们准备将资源磁盘中的文件夹TMG2010共享出来,供企业员工使用。如下图所示:
接下来,需要设置此文件夹的NTFS的权限,可以根据需要进行更改,我们在此就不做修改了。
在下图所示的界面中,可以设备此共享名,根据需要设置一个便于记忆的,有意义的名称。
下面根据需要,依次进行SMB设置、SMB权限设置、DFS命名空间发布等,我们在此都使用默认值,然后需要对该设置进行复查,下图所示:
点击创建,如果一切正常,就如下图所示:
大势至公司可以独家提供从局域网网络行为管理、电脑资料防止泄密管控和信息安全防护一站式解决方案聚生网管网络管理系统(下载)是一款专门的办公室电脑监控软件、局域网网络控制软件,可以禁止网络游戏、禁止上班炒股、禁止P2P软件下载、禁止在线看视频、局域网限制别人网速等,以及绑定局域网IP和MAC地址,防止ARP攻击行为等。大势至文件共享管理软件(下载)是一款专门的共享文件夹访问日志记录软件、服务器共享文件访问权限设置软件,可以实现只让读取共享文件而禁止复制共享文件、只让打开共享文件而禁止另存为本地和禁止拖拽共享文件以及只让修改共享文件而禁止删除共享文件,保护服务器共享文件安全,防止共享文件越权访问。大势至企业数据泄密防护系统(下载)是一款专门保护电脑文件安全,防止U盘复制文件、禁用USB端口的软件,同时还可以屏蔽邮件附件、禁止登录网盘上传文件、禁止FTP软件发送文件、禁止微信发送文件、禁止QQ发送文件等,防止各种途径泄密。大势至局域网接入认证系统(下载)是一款专业的局域网网络准入控制系统,有效阻止外来电脑接入局域网、禁止外来上网上网、禁止非单位电脑访问局域网共享文件、隔离局域网电脑、进行IP和MAC地址绑定、禁止修改IP地址等,保护局域网安全。集群:一组相互独立的、通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用时,集群是一个独立的服务器。
集群配置是用于提高可用性和可缩放性。 和传统的高性能计算机技术相比,集群技术可以利用各档次的服务器作为节点,系统造价低,可以实现很高的运算速度,完成大运算量的计算,具有较高的响应能力,能够满足日益增长的信息服务的需求。
集群技术是一种通用的技术,其目的是为了解决单机运算能力的不足、IO能力的不足、提高服务的可靠性、获得规模可扩展能力,降低整体方案的运维成本。只要在其他技术不能达到以上的目的,或者虽然能够达到以上的目的,但是成本过高的情况下,就可以采用集群技术。
不难,硬件用路由器,软件嘛,操作系统用WIN2003 server enterprise 企业版,推荐一并安装R2升级包,所有机器组局域网,用一台千兆网卡做域控,架设流媒体服务器,其他机做为域成员加入进来,内网IP各用各的,外网用端口映射到一个IP,用域控做网络流量负载平衡,域控机器配置要强,如果你网络流量大,建议用专业级服务器,至强+2Gb+SCSI硬盘之类,看你环境要求了,如果必要可以上双至强,再用一台512mb内存的p4 20G以上机做备份域控,这样主域控上下线或重启或出故障不影响域内成员正常工作,备份域控凑合就可以了,按我上面的要求就行,当然,有钱可以用好的
如果你安全性要求高,建议路由前端用普通P4+512Mb内存机器架ISA2004 server组防火墙,配置的好效果比一般的硬件防火墙要好,完全不影响网络环境运行,域内成员可以裸奔不怕毒和黑
至于域内成员机,如果仅全力供应片源,当前主流家用机型就够用了
服务器建议用hp 360G系列,目前价位不算高,性价比还不错,售后很好,如果你对建网不怎么了解,可以让他们帮你装,买他们的服务器就是要利用他们的人力资源嘛
路由器可以选用飞鱼星4200以上机型,电信网通双WAN口,是可以提供150~250台机器的大型网吧专用的,内置参数非常丰富
另外再多罗嗦几句,板卡不要买七彩虹的,我上过当,七彩虹本身是咨讯公司,没有任何板卡生产能力,都是同德代工的,以为它的出货量大,就选了它,结果广告上的指标参数和实际产品根本不同,水份太多太多了,售后也很烂,特此建议……
楼下别再抄袭我了,每天都被抄走好几个200分最佳,实在是郁闷!
hadoop基于底层大量物理服务器组成的集群对海量数据进行“分布式”处理。
Hadoop是用于处理大规模数据的强大工具,它利用了分布式计算的概念,通过将数据分割成小块并在多个物理服务器上进行处理,从而大大提高了数据处理的速度和效率。
Hadoop的底层是一个由大量物理服务器组成的集群,这个集群通过高速网络互连,并被Hadoop软件平台统一管理和调度。在这个集群上,Hadoop实现了两个核心组件:HDFS和MapReduce。
HDFS是Hadoop的分布式文件系统,负责数据的存储和管理。它将数据分割成多个小块,并将这些小块存储在集群的不同节点上。这样做的好处是,即使某个节点失效,由于数据被分散存储,其他节点上的数据仍然可以用于恢复和继续处理。
hadoop的分析介绍:
MapReduce是Hadoop的分布式计算框架,负责数据的处理和分析。它将数据和处理任务分发到集群中的多个节点上,并监控这些节点的执行情况。MapReduce将数据处理分为两个阶段:Map阶段和Reduce阶段。在Map阶段,数据被分解成小块,并执行指定的Map函数;在Reduce阶段,Map阶段的结果被汇总和执行指定的Reduce函数。
通过这种方式,Hadoop能够在底层大量物理服务器组成的集群上对海量数据进行高效、可靠的分布式处理。这种处理方式使得Hadoop在大数据处理方面具有很强的可扩展性、容错性和并行性,成为了很多企业和组织的重要数据处理工具。
-Hadoop
一、发展现状与面临形势 (一)“十二五”主要成就 发展方向更加明确。确立了“全力做好测绘地理信息服务保障,大力促进地理信息产业发展,尽责维护国家地理信息安全”的发展定位,明确了测绘地理信息总体发展思路。 发展基础更为坚实。统筹建成2200多个站组成的全国卫星导航定位基准站网,基本形成全国卫星导航定位基准服务系统。实现我国陆地国土1:5万基础地理信息全部覆盖和重点要素年度更新、全要素每五年更新,基本完成省级1:1万基础地理信息数据库建设。“资源三号”卫星影像全球有效覆盖达7112万平方千米,后续星研建进展顺利。“天地图”实现30个省级节点、205个市(县)级节点与国家级主节点服务聚合,形成网络化地理信息服务合力。333个地级城市和476个县级城市数字城市建设全面铺开。全国智慧城市试点取得阶段性成果。完成了第一次全国地理国情普查。形成了天空地一体化的数据获取能力。测绘科技创新能力稳步提升,机载雷达测图系统、大规模集群化遥感数据处理系统、无人飞行器航摄系统等方面建设取得重要突破,研制的30米分辨率全球地表覆盖数据产品在国际上产生重要影响。 全面改革扎实推进。国家测绘地理信息局取消和下放1/3行政审批事项。政企分离和事业单位分类改革积极推进。积极引导地理信息企业、科研院所、高等院校共建科技创新平台。修订印发《地图管理条例》,推进《中华人民共和国测绘法》修订。国家版图意识宣传教育不断深化,地图市场特别是互联网地图市场更加规范。 服务成效日益彰显。形成1000多个基于“天地图”的业务化应用。累计开发数字城市应用系统超过5600个。为APEC会议、第三次经济普查、第一次全国水利普查、不动产登记等重大事项和各级政府决策、环境治理等重要方面提供高效有力的技术支持与产品服务。地理信息产业形成千亿级的产业规模。 (二)“十三五”发展形势 经济社会发展对测绘地理信息提出新需求。“一带一路”建设、京津冀协同发展和长江经济带发展等重大战略实施,为创新地理信息资源开发利用模式,全方位做好支撑保障提出更高要求。拓展我国经济发展空间、实施“走出去”战略和促进海洋经济发展,需要进一步拓展测绘地理信息覆盖范围。优化国土空间开发格局,推进“多规合一”,需要加快提升测绘地理信息工作的深度和广度。落实“互联网+”、“中国制造2025”、“促进大数据发展”等行动计划,为发展地理信息产业提供了更加广阔的舞台。 总体国家安全观赋予测绘地理信息新使命。地理信息作为国家重要的基础性、战略性信息资源,在维护国家安全中发挥着重要作用。今后一个时期,为应对地缘政治压力、保障边境地区稳定、维护我国海洋权益和全球战略利益,需要进一步加强海洋、边境地区乃至全球的地理信息资源开发建设。 科学技术快速发展为测绘地理信息发展注入新动力。我国测绘地理信息技术与以移动互联网、物联网、大数据、云计算为代表的新一代信息技术加速融合,催生各种地理信息新应用、新产品和新服务。北斗卫星导航系统、现代测绘基准体系、地理信息公共服务平台等基础设施不断完善,机载雷达、无人机、倾斜摄影等新型技术装备在测绘地理信息领域的应用日益广泛,将极大地提升生产服务的质量和效率。 二、总体要求 (一)指导思想 按照“五位一体”总体布局和“四个全面”战略布局,坚持创新、协调、绿色、开放、共享的发展理念,按照“加强基础测绘、监测地理国情、强化公共服务、壮大地信产业、维护国家安全、建设测绘强国”的总体发展思路。 (二)基本原则 ——坚持科学发展。 ——坚持深化改革。 ——坚持法治建设。 (三)发展目标 到2020年,形成适应经济发展新常态的测绘地理信息管理体制机制和国家地理信息安全监管体系,构建新型基础测绘、地理国情监测、应急测绘、航空航天遥感测绘、全球地理信息资源开发等协同发展的公益性保障服务体系,显著提升地理信息产业对国民经济的贡献率,使我国测绘地理信息整体实力达到国际先进水平,开创测绘地理信息事业发展的新格局。 ——地理信息资源更加丰富。统筹建成2500个以上站点规模的全国卫星导航定位基准站网,陆海一体的现代测绘基准体系进一步完善。获取“一带一路”沿线及重点区域的地理信息资源。海洋地理信息资源开发建设取得阶段性成果。基础地理信息、地理国情信息、应急测绘保障信息等资源实现有效融合。 ——公共服务保障更加有力。基础测绘成果供给更加有效。向相关行业和社会公众提供高精度位置服务的能力全面形成。地理国情监测与经济社会发展深度融合,实现监测业务常态化。基本建成4小时抵达80%陆地国土和重点海域、覆盖全国的应急测绘体系。“天地图”具备全球地理信息服务能力。建成一批智慧城市时空信息云平台。 ——自主创新能力明显提高。科技体制改革、自主创新和成果转化等取得重大突破,市场导向的技术创新机制更加健全,人才、资本、技术、知识自由流动,企业、科研院所、高校、事业单位协同创新,科技创新资源配置更加优化,自主创新效率显著提升。测绘地理信息标准体系更加科学完善。 ——依法行政能力全面提升。测绘地理信息法律规范体系更加完备,统一开放、竞争有序的测绘地理信息市场体系基本形成。 ——产业竞争能力显著增强。地理信息产业保持较高的增长速度,2020年总产值超过8000亿元,培育一批具有较强国际竞争力的龙头企业和较好成长性的创新型中小企业,形成一批具有国际影响力的自主品牌。 三、重点任务 打造由新型基础测绘、地理国情监测、应急测绘、航空航天遥感测绘、全球地理信息资源开发等“五大业务”构成的公益性保障服务体系。 (一)推进新型基础测绘建设 按照陆海兼顾、联动更新、按需服务、开放共享的要求,构建以北斗卫星以及自主技术装备为主要支撑的现代测绘基准体系。 1、加快现代测绘基准体系建设 实现我国地心坐标框架的动态维持与更新,形成覆盖全国的分米级实时位置服务能力,全面提升基准和位置服务水平。统筹开展全国似大地水准面精化工作,建成新一代全国统一的厘米级似大地水准面。完善国家重力基准,开展重力空白区航空重力测量,构建新一代高阶重力场模型。建立国家测绘基准数据库,提升测绘基准成果的管理和社会化服务水平。 强化国家、行业及地方卫星导航定位基准站的统筹管理、资源整合、数据共享,加强测绘基准服务机构建设,制定相关管理制度、建设标准和技术规范,形成一体化管理和协同服务机制。深入推进北斗卫星导航系统应用,拓展测绘地理信息领域北斗卫星导航系统的业务范围、产品体系和服务模式。 2、加强基础地理信息资源建设 扩大高精度基础地理信息覆盖范围,实现省级基础地理信息对陆地国土必要覆盖,市县级基础地理信息对全国县级以上城镇建成区全面覆盖。完善基础地理信息数据联动更新机制,持续做好国家级基础地理信息重点要素年度更新,省级基础地理信息按需更新,城市重点区域大比例尺基础地理信息及时更新。进一步加强边疆地区、农村地区、自然灾害频发地区基础测绘工作。持续推进我国海岛(礁)测绘工作。组织开展海洋地理信息资源开发利用战略研究和规划编制工作,沿海地区根据需要组织开展沿海滩涂、近海海域等测绘工作。持续开展极地测绘工作,提升服务极地考察活动能力。继续推进内陆水体水下地形测绘。加快开展地下管线测绘,构建地下管线信息系统。 3、开展新型基础地理信息数据库建设 优化基础地理信息数据库模型与结构,丰富数据内容,拓展社会、经济、人文、资源、环境等要素,建成综合性强、应用面广、标准化程度高的基础地理信息数据库体系,形成全国基础测绘成果“一个库”。选择合适地区开展新型基础测绘试点。探索建立基于地理实体的成果采集和管理模式,逐步推动现有国家基础地理信息数据库向地理实体数据库的转型,实现基础地理信息数据的集成应用和联动更新。 (二)开展地理国情常态化监测 形成一批具有影响力的监测成果。 1、开展基础性和专题性监测 对我国陆地国土范围的地形地貌、植被覆盖、水域、荒漠与裸露地等自然地理要素以及与人类活动密切相关的交通网络、居民地与设施、地理单元等人文地理要素开展基础性监测。适时开展“一带一路”建设、京津冀协同发展和长江经济带发展等国家重大战略实施及国家级新区建设格局、全国地级以上城市空间格局、生态安全屏障建设、海岸带保护利用状况等专题性监测。开展地理国情监测服务于空间性规划“多规合一”和主体功能区建设,推进地理国情监测服务于生态文明建设目标评价考核、资源环境承载力监测预警评价、领导干部自然资源资产离任审计等生态文明体制改革重点领域。 2、形成常态化监测支撑体系 充分利用各种对地观测技术手段,建立空天地多方位、立体化的地理国情监测网络。构建地理国情信息时空数据库,建立地理国情信息在线服务平台。开展统计分析、数据挖掘和开发应用,形成多样化的监测成果。完善地理国情监测的内容指标、技术规范、工艺流程,形成地理国情常态化监测能力。逐步完善地理国情监测组织实施、部门协作及信息发布等机制。推动各地将地理国情监测纳入年度计划和部门预算管理。 (三)加强应急测绘建设 1、建立应急测绘业务体系 根据国家应急规划和应急体系建设要求,完善应急测绘体制机制,重点加强联动响应、资源统筹、数据服务以及日常运维等机制建设。按照上下协同、部门协作、军民融合的原则,合理划分保障区域,明确保障职责,布局国家应急测绘业务体系,建立健全应急测绘标准。加强应急测绘业务机构以及专业技术人才队伍建设,重点增强国家和省级应急测绘专业力量。 2、强化应急测绘综合保障 加强国家航空应急测绘能力,建设12个国家航空应急测绘保障区,重点装备高性能无人机航空测绘应急系统。增强国家应急测绘现场勘测能力,建设3支国家应急测绘保障分队,重点装备多功能、集成化的地面采集与处理设备。提升国家应急测绘数据处理能力,重点加强数据快速处理、制图、存储和服务等系统建设。提高国家应急测绘资源共享能力,建成国家应急测绘资源数据共享网络及平台,丰富国家应急测绘基础底图数据库。各地针对当地特点和需求,开展区域性应急测绘保障能力建设,加强协作,实现军地、部门、区域应急测绘资源的高效共享和协同服务。 (四)统筹航空航天遥感测绘 进一步建立健全国家航空航天测绘遥感影像资料获取的统筹协调和资源共享机制,实现多种类、多分辨率航空航天遥感影像对重点区域的及时覆盖,对陆地国土的全面覆盖,以及对境外区域的有序覆盖。 1、加强航空航天遥感影像获取和管理 实现优于25米分辨率卫星影像每年全面覆盖陆地国土一次。获取我国500万平方千米优于1米分辨率影像。加大城市地区优于02米分辨率的航空影像获取力度。推进机载激光雷达、倾斜摄影、航空重力等新技术生产应用。加强航空航天遥感影像获取的统筹规划,建立国家基础航空摄影定期分区更新机制、航天遥感影像数据分级分区获取机制。完善航空航天遥感影像的保管、提供、使用制度以及资料信息定期发布制度。 2、强化航空航天遥感影像应用服务 建立和完善系列测绘卫星应用系统,提升卫星测绘数据获取、处理、提供的业务能力。完善航空航天遥感影像产品体系,加大立体测绘影像产品、专题应用产品及增值产品的开发力度。推进多传感器、多视角、多时相遥感影像数据的标准化处理,基于倾斜航空摄影测量、卫星立体测绘等技术,建设高识别度、高容量、高现势性的三维实景中国影像数据库及信息服务系统,形成常态化的航空航天遥感影像产品生产和分发服务能力。探索建立测绘卫星用户委员会机制,理顺卫星用户与卫星运营单位之间的关系,促进卫星测绘应用的深度和广度。 (五)推进全球地理信息资源开发 建立全球地理信息数据采集、管理与在线服务一体化的生产技术支持体系。 1、加快全球地理信息资源建设 加强全球地理信息资源建设的顶层设计,确定建设重点、细化建设内容、明确技术路线。加快形成全球多尺度地理信息数据快速采集与处理能力,逐步拓展全球地理信息资源的覆盖和更新范围。完成“一带一路”沿线及重点区域约4500万平方千米多分辨率数字正射影像、数字地表模型及地理名称等数据生产,开展中巴经济走廊、东盟非盟等重要区域的数字高程模型、核心矢量要素、多时相地表覆盖等数据生产。加快建立多分辨率、多时相的全球地理信息数据库,形成多尺度、多类型、多样式的全球地理信息产品。 2、强化全球地理信息服务应用 依托国家地理信息公共服务平台,构建境外分布式数据中心,形成全球地理信息服务能力。强化与北斗卫星导航定位系统的集成,完善边境地区卫星导航定位基准站网,形成高精度位置服务能力。构建国产卫星海外接收站及处理系统,提高全球卫星资源接收处理能力。制定全球地理信息数据产品、生产工艺及应用服务标准规范。构建全球地理信息资源快速处理、高效管理、动态更新与实时服务的技术装备体系。 四、能力建设 全面提升公共服务有效供给能力、基础设施装备保障能力、地理信息产业竞争能力、创新驱动发展能力和协调融合发展能力。 (一)提升公共服务能力 构建以“五大业务”为支撑的公益性服务体系,建立起保证基本公共需求和增强按需定制服务相协调的服务架构。 1、加强公共服务的有效供给 面向全社会对测绘地理信息的基本公共需求,深化供给侧改革,强化新型基础测绘和航空航天遥感测绘等普惠性服务的有效供给。扩展基础测绘成果内容,发展以地理实体为主要表现形式的公共产品。推出标准化的三维实景影像产品,拓宽应用领域、提高应用频次。加强服务流程信息化建设,简化成果提供审批程序,提升公共服务效率。开展服务“一带一路”建设、京津冀协同发展和长江经济带发展等重大战略的区域性地图产品、反映国家辉煌成就地图产品、国家大地图集、城市地图集等系列专题地图编制工作。 2、拓宽公共服务的发展空间 针对经济社会发展对测绘地理信息的多样化需求,拓展定制化专题服务的领域。围绕区域协调发展、国土空间开发、自然资源资产管理、生态环境保护、新型城镇化建设等开展重要地理国情监测,服务国家重大战略的实施和全面深化改革重大事项的落实。强化城市地下、水体水下应急测绘保障能力,做好基于地理空间的孕灾环境分析和监测服务。拓展全球地理信息资源应用服务领域。在继续做好数字城市地理空间框架建设基础上,健全数字城市维护更新和管理应用的长效机制,推进智慧城市时空信息云平台试点示范应用,提升对城市精细化管理的支撑能力。探索建立政府和社会资本合作(PPP)等新型测绘地理信息公共服务供给模式,加强政府与企业在地理信息资源开发服务中的合作。 3、提升网络化综合服务水平 强化“天地图”公益性服务的战略性地位。建设“天地图”国家数据中心、区域数据中心,融合集成基础地理信息数据库、地理国情信息时空数据库、国家应急测绘基础底图数据库等信息资源,整合政府部门权威信息和全球热点地区重要信息,加强地理信息大数据开放共享和深化应用。加强涉密版、政务版“天地图”的统筹建设,发挥其以地理信息聚合部门数据、促进部门之间信息共享的基础平台作用。充分利用市场机制推动公众版“天地图”建设,惠及群众生产生活。推出覆盖全行业、一站式的地理信息资源目录服务系统。 (二)提升基础设施装备保障能力 以加强重大技术装备建设为重点,进一步完善测绘地理信息基础设施,推动生产、服务技术体系的网络化、信息化和智能化改造,满足“五大业务”协同发展的迫切需要。 1、加快装备现代化 积极推动“资源三号”后续光学卫星和雷达卫星、重力卫星等的立项、研制和发射,逐步形成多源航天遥感数据获取体系。加快建设多分辨率、多传感器、全天候综合航空遥感体系,大力发展长航时航空遥感平台,促进无人飞机、轻型飞机、浮空器等新型平台和机载激光雷达、重力仪、倾斜摄影仪等新型传感器的推广应用,配套建设数据传输和通信指挥系统。加快推进地理信息地面获取技术装备的更新换代,提高水下、地下测量装备水平。 加强数据规模化快速处理系统建设,提高多源海量数据综合处理的自动化、智能化和实时化水平。进一步完善测绘产品质量检验和测绘仪器计量检测体系。探索建立卫星测绘应用系统等基础设施建设的多元化投入机制。 2、推进生产服务体系信息化 加快生产流程的信息化改造,提升生产服务的信息化、智能化水平。整合核心技术、重大装备、资料数据等方面资源,建设生产管理信息平台,形成生产原始资料数据集中管理、分布式处理、生产质量统一监管和生产成果集中入库管理的信息化测绘地理信息生产布局。加强网络基础设施建设,依托国家电子政务内外网资源,构建国家、省、市三级互联互通的测绘地理信息传输网络。 3、增强安全防护能力 建设国家互联网地理信息安全监管平台,形成由国家级互联网地图监管中心和省级互联网监管分节点组成、上下联动的监控网络。加强卫星导航定位基准站建设和运行的安全管理,同步规划、设计和建设相关安全基础设施。加快开展网络基础设施核查分类,完成网络基础设施更新改造,大力推进行业等级保护和分级保护工作,加强关键网络基础设施和重要信息系统安全保障。完善地理信息定密和新技术测绘成果公开使用政策,加强新型地理信息成果保密处理技术研究,促进地理信息安全使用。加强国家版图意识宣传教育,提高公民对地理信息安全维护的意识和能力。 (三)提升地理信息产业竞争能力 推动地理信息产业向价值链高端延伸,向精细化和高品质转变。 1、发展地理信息产业重点领域 大力发展测绘遥感数据服务,开展测绘航空航天遥感数据的商业化获取和增值服务,建成较为完整的测绘航空航天遥感数据获取、处理、服务产业链,培育3-5 家测绘遥感数据服务龙头企业。推动地理信息系统通用软件开发应用,推进高性能遥感数据处理软件以及行业领域应用软件的产品化和产业化,培育2-3家以地理信息软件开发和集成为核心业务的龙头企业。引导和推进现代高端测绘地理信息技术装备制造业的资源整合,紧密结合“中国制造2025”行动计划,发展一批拥有自主知识产权的高端遥感技术装备和高端地面测绘装备生产制造企业。推进地理信息与导航定位融合服务类企业兼并重组,促进产业链各环节均衡发展。支持面向中亚-西亚、俄蒙日朝韩、东盟的北斗产业化应用。 加快推进地理信息与北斗卫星导航定位的融合,支持发展以移动通信网络、互联网和车联网为支撑,融合实时交通信息、移动通信基站信息等的综合导航定位动态服务。积极发展测绘基准服务业。繁荣地图出版业,发展地图文化创意产业,形成地图文化产业集群。 2、优化地理信息产业发展环境 适度放宽地理信息成果使用许可和增值开发政策,支持充分利用基础地理信息资源开展社会化应用和增值服务。建立健全地理信息获取、处理、应用以及安全保密监管等相关配套制度措施。加快国产测绘遥感卫星数据有关政策研究制定,推进遥感数据的商业化应用。坚持简政放权、放管结合、优化服务,持续推进行政审批制度改革,健全市场准入和退出机制。继续推进地理信息产业分类标准、产业单位名录库和统计指标体系建设,逐步完善统计工作机制。充分发挥相关学会、协会在促进产业发展中的作用。充分利用产业基金、产业基地等支持企业创新创业。 (四)提升科技自主创新能力 推进重点领域科技创新,提高测绘地理信息标准化水平,深化国际交流合作,提升科技创新的引领和推动作用。 1、完善科技创新体系 完善测绘地理信息科研项目管理、科技成果登记与信息公开公示、成果转移转化统计和报告等制度,健全科学研究、信用评价、创新团队认定、科技人才评价等方面的政策。优化测绘地理信息科技创新组织体系布局,加强测绘地理信息领域科研基地(平台)建设,积极开展创新联盟、协同中心、创客或众创空间等新型创新平台建设,支持大众创业、万众创新。强化企业的技术创新主体作用,鼓励参与制定科技规划、政策和标准,支持申报国家和地方人才计划、牵头实施国家科技项目。建立以企业为主体的创新平台,形成一批具有国际竞争力的创新型领军企业和具有较强创新能力的科技型中小型地理信息企业。支持野外观测台站、检校场、大型科研仪器设施等科研条件平台的建设与共享。加强地理信息技术和知识产权交易平台建设。 2、加强科技攻关和标准化 以支撑重大工程和成果广泛应用为重点,统筹优势科技力量,着力开展地理国情监测、海洋测绘、全球地理信息资源开发、地下空间测绘等关键技术攻关。加强物联网、云计算、大数据以及移动互联网等高新技术在测绘地理信息领域的应用研究,支持对大地测量基准、位置智能感知、遥感机理、数据挖掘与地理信息网络安全等方面的原始创新。加快测绘地理信息新型智库建设,加强发展战略研究。构建新型测绘地理信息标准体系。建立跨部门测绘地理信息标准化协调机制。完善测绘地理信息标准制修订程序,重点研制地理国情监测、卫星导航定位基准站等方面的标准,促进标准制定与科技创新和重大工程的相互转化,发挥标准的技术考核作用。加强科技标准宣传贯彻。开展测绘地理信息标准化综合试点。 3、深化国际交流合作 推动地理信息技术、装备、标准、服务“走出去”,积极接纳发达国家的地理信息产业外包业务,开拓非洲、南美、东南亚等新兴经济体市场,深度融入全球地理信息产业链、价值链。继续引进、消化、吸收国际先进技术,深化测绘地理信息科技及人才国际交流。积极参与全球及区域性测绘科技合作计划和国际测绘地理信息标准制订,争取主导编制4项国际标准,参与制修订国际标准化组织(ISO/TC211)主导的30%以上国际标准。根据受援国意愿和我对外战略需要,研究推动向相关国家提供测绘项目、技术、人才等方面的援助。 (五)提升协调融合发展能力 促进各地区测绘地理信息事业协调发展。进一步打破军民测绘地理信息领域技术、标准和行业壁垒,加强军民测绘融合发展。鼓励各有关领域、行业根据需要加强测绘能力建设与数据资源共享,提升全国测绘地理信息协调融合发展水平。 1、推进区域测绘协调发展 围绕国家区域发展重大战略,推动形成西部、东北、中部、东南沿海和京津冀等五大区域测绘地理信息协调发展格局,支持建立五大区域测绘地理信息发展联盟。加大跨行政区域的测绘地理信息工作统筹力度,通过建立跨行政区域测绘地理信息联席会议制度,推进跨行政区域的基础测绘、地理国情监测、应急测绘等方面合作,促进地理信息产业集群发展。鼓励发达地区对相对落后地区进行帮扶,为贫困地区提供精准测绘地理信息服务。加大对新疆、西藏和四省藏区援助力度,在技术、人才等方面加强对边远地区、少数民族地区测绘地理信息工作的支持。 2、深化军民融合发展 加强国家层面的宏观统筹与顶层设计,做好规划衔接和项目、需求对接、完善工作协调机制,实现军民力量整合、资源聚合、信息融合。推进国家空间基准、航天遥感测绘、海洋测绘以及高精度位置服务等重点领域的统筹共建,加强测绘基础设施、北斗系统、地理信息、科技资源等方面的共享应用,建立跨部门跨领域地理信息资料成果通报汇交和位置服务站网共享机制,以及应急保障、国防动员等方面平战结合机制,形成军民兼容的测绘技术标准体系。按照国家军民融合示范要求推进测绘地理信息领域的试点示范工作,引导多种力量参与测绘地理信息领域军民深度融合发展,形成富有特色的军民融合发展模式。鼓励地方立足实际推进测绘地理信息军民深度融合发展。 五、实施保障 (一)完善管理体制机制 全力抓好地理国情监测、应急测绘以及不动产测绘、地下管线测绘、海洋地理信息资源开发等方面职责职能的落实。 (二)加强法规制度建设 完成《中华人民共和国测绘法》修订,健全地理信息安全、地理国情监测、地理信息共享应用、应急测绘等方面的法规制度。完善测绘地理信息资质、市场监管和信用管理的挂钩政策。研究制定政府购买测绘地理信息公共服务的指导性目录和制度,推动测绘地理信息公共服务承接主体多元化。健全卫星测绘应用政策,推动建立多元投入机制。强化测绘地理信息行政执法队伍建设,完善与国土资源等综合执法工作机制,有效提升测绘地理信息行政执法力量和效能。 (三)优化生产服务组织结构(略) (四)强化人才队伍支撑(略) (五)抓好规划组织实施(略)划重点丨测绘地理信息“十三五”规划说了啥
很多组织机构慢慢的在不同的服务器和地点部署SQL Server数据库——为各种应用和目的——开始考虑通过SQL Server集群的方式来合并。
将SQL Server实例和数据库合并到一个中心的地点可以减低成本,尤其是维护和软硬件许可证。此外,在合并之后,可以减低所需机器的数量,这些机器就可以用于备用。
当寻找一个备用,比如高可用性的环境,企业常常决定部署Microsoft的集群架构。我常常被问到小的集群(由较少的节点组成)SQL Server实例和作为中心解决方案的大的集群哪一种更好。在我们比较了这两个集群架构之后,我让你们自己做决定。
什么是Microsoft集群服务器
MSCS是一个Windows Server企业版中的内建功能。这个软件支持两个或者更多服务器节点连接起来形成一个“集群”,来获得更高的可用性和对数据和应用更简便的管理。MSCS可以自动的检查到服务器或者应用的失效,并从中恢复。你也可以使用它来(手动)移动服务器之间的负载来平衡利用率以及无需停机时间来调度计划中的维护任务。
这种集群设计使用软件“心跳”来检测应用或者服务器的失效。在服务器失效的事件中,它会自动将资源(比如磁盘和IP地址)的所有权从失效的服务器转移到活动的服务器。注意还有方法可以保持心跳连接的更高的可用性,比如站点全面失效的情况下。
MSCS不要求在客户计算机上安装任何特殊软件,因此用户在灾难恢复的经历依赖于客户-服务器应用中客户一方的本质。客户的重新连接常常是透明的,因为MSCS在相同的IP地址上重启应用、文件共享等等。进一步,为了灾难恢复,集群的节点可以处于分离的、遥远的地点。
在集群服务器上的SQL Server
SQL Server 2000可以配置为最多4个节点的集群,而SQL Server 2005可以配置为最多8个节点的集群。当一个SQL Server实例被配置为集群之后,它的磁盘资源、IP地址和服务就形成了集群组来实现灾难恢复。
SQL Server 2000允许在一个集群上安装16个实例。根据在线帮助,“SQL Server 2005在一个服务器或者处理器上可以支持最多50个SQL Server实例,”但是,“只能使用25个硬盘驱动器符,因此如果你需要更多的实例,那么需要预先规划。”
注意SQL Server实例的灾难恢复阶段是指SQL Server服务开始所需要的时间,这可能从几秒钟到几分钟。如果你需要更高的可用性,考虑使用其他的方法,比如log shipping和数据库镜像。
单个的大的SQL Server集群还是小的集群
下面是大的、由更多的节点组成的集群的优点:
◆更高的可用新(更多的节点来灾难恢复)。
◆更多的负载均衡选择(更多的节点)。
◆更低廉的维护成本。
◆增长的敏捷性。多达4个或者8个节点,依赖于SQL版本。
◆增强的管理性和简化环境(需要管理的少了)。
◆更少的停机时间(灾难恢复更多的选择)。
◆灾难恢复性能不受集群中的节点数目影响。
下面是单个大的集群的缺点:
◆集群节点数目有限(如果需要第9个节点怎么办)。
◆在集群中SQL实例数目有限。
◆没有对失效的防护——如果磁盘阵列失效了,就不会发生灾难恢复。
◆使用灾难恢复集群,无法在数据库级别或者数据库对象级别,比如表,创建灾难恢复集群。
虚拟化和集群
虚拟机也可以参与到集群中,虚拟和物理机器可以集群在一起,不会发生问题。SQL Server实例可以在虚拟机上,但是性能可能会受用影响,这依赖于实例所消耗的资源。在虚拟机上安装SQL Server实例之前,你需要进行压力测试来验证它是否可以承受必要的负载。
在这种灵活的架构中,如果虚拟机和物理机器集群在一起,你可以在虚拟机和物理机器之间对SQL Server进行负载均衡。比如,使用虚拟机上的SQL Server实例开发应用。然后在你需要对开发实例进行压力测试的时候,将它灾难恢复到集群中更强的物理机器上。
集群服务器可以用于SQL Server的高可用性、灾难恢复、可扩展性和负载均衡。单个更大的、由更多的节点组成的集群往往比小的、只有少数节点的集群更好。大个集群允许更灵活环境,为了负载均衡和维护,实例可以从一个节点移动到另外的节点。
0条评论