分布式数据部署 是 什么意思？？谢谢了，大神帮忙啊

分布式应用程序概述 应用程序设计师可以使用 NET 平台开发、部署和支持分布式应用程序。既高度集成又灵活，此平台使开发人员能够生成端对端的业务解决方案，这些解决方案可以综合利用现有的体系结构和应用程序。 Windows DNA 是一种用于生成紧耦合分布式 Web 应用程序的体系结构。因为分布式应用程序开始要求更多的松耦合原则，Microsoft 体系结构移动到 NET 平台上。 基本原理和好处 分布式应用程序的主要原则是将应用程序逻辑地分为 3 个基本层： 表示 业务逻辑 数据访问和存储 通过按照这些原则对应用程序进行分层，使用基于组件的编程技术，并充分利用 NET 平台与 Microsoft Windows 操作系统的功能，开发人员可以生成具有高度可伸缩性和灵活性的应用程序。 简单地分布式应用程序模型包含与中间层进行通信的客户端，中间层本身由应用程序服务器和包含业务逻辑的应用程序组成。应用程序反过来又与提供和存储数据的数据库进行通信。 表示服务 表示层包括到应用程序的胖客户端接口或者瘦客户端接口。胖客户端通过直接使用 Microsoft Win32 API 或间接通过 Windows 窗体，为操作系统的功能提供完全的编程接口，并广泛地使用组件。瘦客户端（Web 浏览器）正迅速成为许多开发人员优先选择的接口。开发人员能够生成可在三个应用程序层的任何一个上执行的业务逻辑。利用 ASPNET Web 应用程序和 XML Web services，瘦客户端能够以可视形式为应用程序提供丰富、灵活和交互的用户界面。瘦客户端还具有在平台之间提供更大程度的可移植性的优点。 业务逻辑/应用程序服务 该层被分为应用程序服务器与服务，它们可用于支持客户端。可以使用 NET Framework 编写 Web 应用程序以利用 COM+ 服务、消息队列 (MSMQ)、目录服务和安全性服务。应用程序服务反过来可以与数据访问层上的若干个数据服务进行交互。 数据访问和存储服务 支持数据访问和存储的数据服务包括下列各项： ADONET，通过使用脚本语言或编程语言提供对数据的简化编程访问。 OLE DB，由 Microsoft 开发的公认的通用数据提供程序。 XML，用于指定数据结构的标记标准。 XML 是 Internet 世界提出的标准。HTML 集中于信息如何由浏览器呈现和如何显示在屏幕上，而 XML 的目标是处理数据结构及其表示形式。 系统服务 该模型的每个部分中的元素都充分受到 NET Framework 和 Windows 操作系统的支持。它所具有的许多服务中的一些是：目录、安全、管理和跨越 3 个层进行的通信服务。组成 Visual Studio NET 开发系统的编程工具使开发人员能够生成跨越多层的应用程序组件。

希望采纳

我参与设计过一个行业门户网站，感觉解决大型网站面临的高并发访问、海量数据处理、高可靠运行等一系列问题与挑战，在实践中提出了许多解决方案，以实现网站高性能、高可用、易伸缩、可扩展、安全等各种技术架构目标。这些解决方案又被更多网站重复使用，从而逐渐形成大型网站架构模式。下面我主要从分布式的设计谈下：

1、分布式应用和服务：将分层和分割后的应用和服务模块分布式部署，除了可以改善网站性能和并发性、加快开发和发布速度、减少数据库连接资源消耗外；还可以使不同应用复用共同的服务，便于业务功能扩展。

2、分布式静态资源：网站的静态资源如JS，CSS，Logo等资源独立分布式部署，并采用独立的域名，即人们常说的动静分离。静态资源分布式部署可以减轻应用服务器的负载压力；通过使用独立域名加快浏览器并发加载的速度；由负责用户体验的团队进行开发维护有利于网站分工合作，使不同技术工种术业有专攻。

3、分布式数据和存储：大型网站需要处理以P为单位的海量数据，单台计算机无法提供如此大的存储空间，这些数据需要分布式存储。除了对传统的关系数据库进行分布式部署外，为网站应用而生的各种NoSQL产品几乎都是分布式的。

4、分布式计算：严格说来，应用、服务、实时数据处理都是计算，网站除了要处理这些在线业务，还有很大一部分用户没有直观感受的后台业务要处理，包括搜索引擎的索引构建、数据仓库的数据分析统计等。这些业务的计算规模非常庞大，目前网站普遍使用Hadoop及其MapReduce分布式计算框架进行此类批处理计算，其特点是移动计算而不是移动数据，将计算程序分发到数据所在的位置以加速计算和分布式计算。

总之分布式设计思路比较多，还有可以支持网站线上服务器配置实时更新的分布式配置；分布式环境下实现并发和协同的分布式锁；支持云存储的分布式文件系统等。

1 设计思路

2 系统结构

3 网络规划及性能计算

31 网络架构

32 网络架构说明

321 采用双防火墙双交换机做网络冗余，保障平台服务

322 采用硬件设备负载均衡器，实现网络流量的负载均衡

33 系统测算

331 系统处理能力要求

332 业务处理能力要求

333 系统话务模型

34 配置核算

341 数据库服务器性能核算

342 WEB服务器集群性能核算

343 WEB服务器集群内存性能核算

344 网络带宽

4 性能模拟测试及性能推算

41 测试环境

42 测试结果

421 1个客户端模拟不同线和并发请求结果

422 10个客户端请求

43 结果分析

44 根据测试结果推算

45 设备清单

451 硬件设备配置清单

452 设备技术规格

46 平台扩容的建议

科技 赋能 社会 发展

科技有限公司科技赋能社会发展" img_height="524" img_width="1080" data-src="//imgq8q578com/ef/0607/03f2949d7e7f7620jpg" src="/a2020/img/data-imgjpg">

移动微世界(北京)网络 科技 有限公司，2013年在北京成立，位于北京清华 科技 园，是国内知名的虚拟现实技术应用服务提供商，同时也是全球最早将虚拟现实技术应用于元宇宙会议会展、元宇宙协同办公的企业。

公司自主研发三大技术引擎：3D/VR引擎、元宇宙语音通讯引擎、分布式服务器引擎，拥有40余项软件著作权。

通过三A信用等级认证，三标管理体系认证，软件企业认证，国家信息安全认证，国家高新技术企业认证，掌握核心技术。

华为生态严选伙伴，华为精英服务商。

发展历程

2013

移动微世界于北京成立

2014-2017

全力开启自主研发道路

2018

全球第一款元宇宙会议产品“3D会吧”上线

2019

元宇宙办公楼-“云楼SOHO”商用上线

元宇宙会议室-云楼会议室”商用上线

2020

元宇宙会展场馆"中国银河会展中心"商用上线

华为生态严选伙伴,华为精英服务商

2021

云楼会议室用户数量突破250万；

中国银河会展中心服务展会数量过百场；

2022

全面升级元宇宙产品，打造“元宇之城”

在以色列成立全资研发公司

在新加坡成立全资子公司

在美国成立合资公司

在津巴布韦成立合资公司

全面进入国际市场

入选中国移动通信联合会元宇宙产业委员会正式委员

企业优势

团队优势

全球最早将虚拟现实技术应用于元宇宙企业级服务的开发团队，核心团队都具有10年以上研发经验。

科技有限公司科技赋能社会发展" img_height="800" img_width="899" data-src="//imgq8q578com/ef/0607/5dade13965bcf3c7jpg" src="/a2020/img/data-imgjpg"> 科技有限公司科技赋能社会发展" img_height="692" img_width="777" data-src="//imgq8q578com/ef/0607/9e12449fa6ccf3e1jpg" src="/a2020/img/data-imgjpg">

技术优势

自主研发三大技术引擎，拥有40余项软件著作权，积累了丰富的技术沉淀、经验及数据,掌握核心技术。

产品优势

创新性研发了沉浸式元宇宙会议会展及元宇宙办公平台，产品力强劲，拥有超级产品的体验优势。

科技有限公司科技赋能社会发展" img_height="800" img_width="899" data-src="//imgq8q578com/ef/0607/b4dcd3d973c3b170jpg" src="/a2020/img/data-imgjpg"> 科技有限公司科技赋能社会发展" img_height="832" img_width="934" data-src="//imgq8q578com/ef/0607/e5558328f1437456jpg" src="/a2020/img/data-imgjpg">

市场优势

5G时代,元宇宙办公在职场中发挥越来越大的作用，元宇宙会议会展拥有广阔的市场前景。而移动微世界拥有第一的先入优势。

核心技术

公司自主研发三大技术引擎：3D/VR引擎、元宇宙通讯引擎、分布式服务器引擎。拥有40余项软件著作权。通过三A认证，三标管理认证，软件企业认证，国家信息安全认证，国家高新技术企业认证。

3D/VR引擎

创造性采用3D/VR引擎，构建了云上虚拟现实应用场景

元宇宙通讯引擎

256路独立语音通话频道，一对一、一对多、多对多同时沟通

分布式服务器引擎

采用分布式集群方案部署，高并发、高负载、高稳定

产品介绍

科技有限公司科技赋能社会发展" img_height="1350" img_width="900" data-src="//imgq8q578com/ef/0607/d74861c74d3aec43jpg" src="/a2020/img/data-imgjpg">

云楼会议室

元宇宙会议室

3D数字仿真会议室

让远程会议拥有更真实完美的沉浸式会议体验

云楼SOHO

元宇宙办公楼，3D数字仿真办公空间，真实还原线下办公室场景，让你拥有和现实世界一样真实的办公体验；让规模化元宇宙办公成为现实；

科技有限公司科技赋能社会发展" img_height="1350" img_width="900" data-src="//imgq8q578com/ef/0607/6d70c3c36ade5140jpg" src="/a2020/img/data-imgjpg"> 科技有限公司科技赋能社会发展" img_height="1350" img_width="900" data-src="//imgq8q578com/ef/0607/47d76d1282fc1ed8jpg" src="/a2020/img/data-imgjpg">

中国银河会展中心

元宇宙会展场馆，3D数字仿真会展空间，真实还原线下展会场景，让你沉浸在和现实世界展会一样真实完美的办展、参展、逛展体验中；

赋能企业，展通天下

项目案例

科技有限公司科技赋能社会发展" img_height="486" img_width="1080" data-src="//imgq8q578com/ef/0607/0ac2a4913286629cjpg" src="/a2020/img/data-imgjpg"> 科技有限公司科技赋能社会发展" img_height="486" img_width="1080" data-src="//imgq8q578com/ef/0607/ad05d87b55c00236jpg" src="/a2020/img/data-imgjpg">

“元宇宙时代”商业远景与应用价值商业论坛

疫情当下大咖齐聚

深入探讨元宇宙商业价值

科技有限公司科技赋能社会发展" img_height="486" img_width="1080" data-src="//imgq8q578com/ef/0607/7fdfc1f7e3b0a2f8jpg" src="/a2020/img/data-imgjpg"> 科技有限公司科技赋能社会发展" img_height="486" img_width="1080" data-src="//imgq8q578com/ef/0607/b767ed943bf8a4e0jpg" src="/a2020/img/data-imgjpg">

远航定位《战略符号化》课程

汇集全国近100家知名企业创始人

科技有限公司科技赋能社会发展" img_height="586" img_width="1080" data-src="//imgq8q578com/ef/0607/5ceefcd79b779251jpg" src="/a2020/img/data-imgjpg"> 科技有限公司科技赋能社会发展" img_height="584" img_width="1080" data-src="//imgq8q578com/ef/0607/23bffa483c9d0211jpg" src="/a2020/img/data-imgjpg">

“517”世界电信日

5G扬帆 越来越好

绍兴人民政府主办

世界电信日资深论坛

科技有限公司科技赋能社会发展" img_height="486" img_width="1080" data-src="//imgq8q578com/ef/0607/21158abd88f9bae1jpg" src="/a2020/img/data-imgjpg"> 科技有限公司科技赋能社会发展" img_height="486" img_width="1080" data-src="//imgq8q578com/ef/0607/a1f304360c0fbe51jpg" src="/a2020/img/data-imgjpg">

第一届“中传译制奖”颁奖典礼

为国内顶尖学府优秀作品颁奖

科技有限公司科技赋能社会发展" img_height="720" img_width="1080" data-src="//imgq8q578com/ef/0607/4da0cd0e39005acajpg" src="/a2020/img/data-imgjpg">

联系我们

联系电话：400-008-1269

企业网址：https://wsj13com

地址：北京清华 科技 园创业大厦7层

所谓分布式系统，是指一个完整的应用系统被拆分后，分别部署到不同的网络节点中，这样的系统往往是一些大型的系统。这种做法的好处是，可以提高系统的运算能力。与分布式系统相对应的就是 单体应用系统，单体应用系统的思想是all in one 思想， 就是全部在一起，一个系统的全部服务都集中在一个网络节点上。

所谓集群就是，相同的事情多个人做，比如在上图分布式系统中， 商品服务 被部署到一台机器上，但是如果在购物节时，请求太多，一台机器根本扛不住，这时我们也增加10台机器，这10台机器都部署 商品服务, 这样由这10台机器就组成了商品服务集群，集群的初衷就是提高系统的吞吐量，另一个就是提高可用性，比如一台服务器挂了，不至于服务不可用。

[上传失败(image-dc4d72-1607944513633)]

SOA 架构就是面向于服务的架构思想，本质上就是以服务为中心，把应用拆分为多个服务，抽离出可重用的服务，为每个服务的单独扩展和开发提高便利性。阿里的Dubbo 就是SOA服务架构的一种实现，事实上SOA并没有对服务间通信协议具体规定，可以RPC,可以HTTP。

微服务是一种SOA思想的延续，任然关注服务，但是强调是"微",微体现的是服务开发成分要低，职责要尽量单一，同时部署也要灵活方便。目前微服务是非常流行的一种软件架构，在Java生态中 SpringCloud就提供了微服务的全站解决方案。

分布式和集群都是从软件部署的角度描述，SOA与微服务是从软件的架构阐述。一个采用SpringCloud技术开发系统 必然是微服务，当然同时也是分布式系统，当然如果为了高可用，必定也采用集群。

参考Ceph官方安装文档

Openstack环境中，数据存储可分为临时性存储与永久性存储。

临时性存储：主要由本地文件系统提供，并主要用于nova虚拟机的本地系统与临时数据盘，以及存储glance上传的系统镜像；

永久性存储：主要由cinder提供的块存储与swift提供的对象存储构成，以cinder提供的块存储应用最为广泛，块存储通常以云盘的形式挂载到虚拟机中使用。

Openstack中需要进行数据存储的三大项目主要是nova项目（虚拟机镜像文件），glance项目（共用模版镜像）与cinder项目（块存储）。

下图为cinder，glance与nova访问ceph集群的逻辑图：

ceph与openstack集成主要用到ceph的rbd服务，ceph底层为rados存储集群，ceph通过librados库实现对底层rados的访问；

openstack各项目客户端调用librbd，再由librbd调用librados访问底层rados；

实际使用中，nova需要使用libvirtdriver驱动以通过libvirt与qemu调用librbd；cinder与glance可直接调用librbd；

写入ceph集群的数据被条带切分成多个object，object通过hash函数映射到pg（构成pg容器池pool），然后pg通过几圈crush算法近似均匀地映射到物理存储设备osd（osd是基于文件系统的物理存储设备，如xfs，ext4等）。

CEPH PG数量设置与详细介绍

在创建池之前要设置一下每个OSD的最大PG 数量

PG PGP官方计算公式计算器

参数解释：

依据参数使用公式计算新的 PG 的数目:

PG 总数= ((OSD总数100)/最大副本数)/池数

3x100/3/3=3333 ;舍入到2的N次幕为32

openstack集群作为ceph的客户端；下面需要再openstack集群上进行ceph客户端的环境配置

在openstack所有控制和计算节点安装ceph Octopus源码包，centos8有默认安装，但是版本一定要跟连接的ceph版本一致

glance-api 服务运行在3个控制节点， 因此三台控制节点都必须安装

cinder-volume 与 nova-compute 服务运行在3个计算（存储）节点； 因此三台计算节点都必须安装

将配置文件和密钥复制到openstack集群各节点

配置文件就是生成的cephconf；而密钥是 cephclientadminkeyring ，当使用ceph客户端连接至ceph集群时需要使用的密默认密钥，这里我们所有节点都要复制，命令如下

※Glance 作为openstack中镜像服务，支持多种适配器，支持将镜像存放到本地文件系统，http服务器，ceph分布式文件系统，glusterfs和sleepdog等开源的分布式文件系统上。目前glance采用的是本地filesystem的方式存储，存放在默认的路径 /var/lib/glance/images 下，当把本地的文件系统修改为分布式的文件系统ceph之后，原本在系统中镜像将无法使用，所以建议当前的镜像删除，部署好ceph之后，再统一上传至ceph中存储。

※Nova 负责虚拟机的生命周期管理，包括创建，删除，重建，开机，关机，重启，快照等，作为openstack的核心，nova负责IaaS中计算重要的职责，其中nova的存储格外重要，默认情况下，nova将instance的数据存放在/var/lib/nova/instances/%UUID目录下，使用本地的存储空间。使用这种方式带来的好处是:简单，易实现，速度快，故障域在一个可控制的范围内。然而，缺点也非常明显：compute出故障，上面的虚拟机down机时间长，没法快速恢复，此外，一些特性如热迁移live-migration,虚拟机容灾nova evacuate等高级特性，将无法使用，对于后期的云平台建设，有明显的缺陷。对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova，更准确来说是对接 QEMU-KVM/libvirt，因为 librbd 早已原生集成到其中。

※Cinder 为 OpenStack 提供卷服务，支持非常广泛的后端存储类型。对接 Ceph 后，Cinder 创建的 Volume 本质就是 Ceph RBD 的块设备，当 Volume 被虚拟机挂载后，Libvirt 会以 rbd 协议的方式使用这些 Disk 设备。除了 cinder-volume 之后，Cinder 的 Backup 服务也可以对接 Ceph，将备份的 Image 以对象或块设备的形式上传到 Ceph 集群。

使用ceph的rbd接口，需要通过libvirt，所以需要在客户端机器上安装libvirt和qemu，关于ceph和openstack结合的结构如下，同时，在openstack中，需要用到存储的地方有三个:

为 Glance、Nova、Cinder 创建专用的RBD Pools池

需要配置hosts解析文件，这里最开始已经配置完成，如未添加hosts解析需要进行配置

在cephnode01管理节点上操作 ；命名为：volumes，vms，images

记录：删除存储池的操作

在cephnode01管理节点上操作 ；

针对pool设置权限，pool名对应创建的pool

nova-compute与cinder-volume都部署在计算节点 ，不必重复操作,如果计算节点与存储节点分离需要分别推送；

全部计算节点配置；以compute01节点为例；

Glance 为 OpenStack 提供镜像及其元数据注册服务，Glance 支持对接多种后端存储。与 Ceph 完成对接后，Glance 上传的 Image 会作为块设备储存在 Ceph 集群中。新版本的 Glance 也开始支持 enabled_backends 了，可以同时对接多个存储提供商。

写时复制技术(copy-on-write) ：内核只为新生成的子进程创建虚拟空间结构，它们复制于父进程的虚拟空间结构，但是不为这些段分配物理内存，它们共享父进程的物理空间，当父子进程中有更改相应的段的行为发生时，再为子进程相应的段分配物理空间。写时复制技术大大降低了进程对资源的浪费。

全部控制节点进行配置；以controller01节点为例；

只修改涉及glance集成ceph的相关配置

变更配置文件，重启服务

ceph官网介绍 QEMU和块设备

对接 Ceph 之后，通常会以 RAW 格式创建 Glance Image，而不再使用 QCOW2 格式，否则创建虚拟机时需要进行镜像复制，没有利用 Ceph RBD COW 的优秀特性。

总结

将openstack集群中的glance镜像的数据存储到ceph中是一种非常好的解决方案，既能够保障镜像数据的安全性，同时glance和nova在同个存储池中，能够基于copy-on-write(写时复制)的方式快速创建虚拟机，能够在秒级为单位实现vm的创建。

全部计算节点进行配置； 以compute01节点为例；只修改glance集成ceph的相关配置

全部计算节点重启cinder-volume服务；

任意openstack控制节点上查看;

在任意控制节点为cinder的ceph后端存储创建对应的type，在配置多存储后端时可区分类型；

为ceph type设置扩展规格，键值 volume_backend_name ，value值 ceph

任意控制节点上创建一个1GB的卷 ；最后的数字1代表容量为1G

查看创建好的卷

openstack创建一个空白 Volume，Ceph相当于执行了以下指令

从镜像创建 Volume 的时候应用了 Ceph RBD COW Clone 功能，这是通过 glance-apiconf [DEFAULT] show_image_direct_url = True 来开启。这个配置项的作用是持久化 Image 的 location，此时 Glance RBD Driver 才可以通过 Image location 执行 Clone 操作。并且还会根据指定的 Volume Size 来调整 RBD Image 的 Size。

一直存在的cirros_qcow2镜像为对接ceph之前的镜像，现在已无法使用，所以将之删除

在openstack上从镜像创建一个Volume，Ceph相当于执行了以下指令

任意控制节点操作；

查看快照详细信息

在openstack上对镜像的卷创建快照，Ceph相当于执行了以下指令

如果说快照时一个时间机器，那么备份就是一个异地的时间机器，它具有容灾的含义。所以一般来说 Ceph Pool backup 应该与 Pool images、volumes 以及 vms 处于不同的灾备隔离域。

https://wwwcnblogscom/luohaixian/p/9344803html

https://docsopenstackorg/zh_CN/user-guide/backup-db-incrementalhtml

一般的，备份具有以下类型：

在虚拟磁盘映像的计算节点上使用本地存储有一些缺点：

Nova 为 OpenStack 提供计算服务，对接 Ceph 主要是希望将实例的系统磁盘文件储存到 Ceph 集群中。与其说是对接 Nova，更准确来说是对接 QEMU-KVM/libvirt ，因为 librbd 早已原生集成到其中。

如果需要从ceph rbd中启动虚拟机，必须将ceph配置为nova的临时后端；

推荐在计算节点的配置文件中启用rbd cache功能；

为了便于故障排查，配置admin socket参数，这样每个使用ceph rbd的虚拟机都有1个socket将有利于虚拟机性能分析与故障解决；

相关配置只涉及全部计算节点cephconf文件的[client]与[clientcinder]字段，以compute163节点为例

全部计算节点配置 cephconf文件相关的 [client] 与 [clientcinder] 字段，以compute01节点为例；

在全部计算节点配置nova后端使用ceph集群的vms池，以compute01节点为例；

在全部计算节点操作;

在全部计算节点操作，以compute01节点为例；

以下给出libvirtdconf文件的修改处所在的行num