私有云建设方案 (1),私有云搭建方案

('1私有云数据中心建设方案1.项目背景当前云计算产业正在如火如荼的发展，大型互联网运营商如阿里、百度等都已经提供了公有云业务，专门服务于中小型企业，为其提供基础IT建设与维护服务。而对部分大型企业和安全性有较高要求的用户来说，私有云则成为其自身IT建设的首选。私有云数据中心将逐步替代原有形态的企业数据中心，为企业日常IT等业务运营环境提供更加强有力的支持。在云计算的三个层面中，上层架构的PaaS与SaaS要求更加贴合企业自身的业务系统特征，因此系统设计更加注重个性化和独立化部署。而底层的IaaS结构则具有更高的通用性与普适性，可以在大多数云计算数据中心中部署，为企业提供灵活的业务部署环境。本文将重点阐述IaaS私有云数据中心的基础系统设计。2.建设目标为了满足业务发展的需要，有效地解决资源利用率以及业务快速上线需求、集中管控、降低运维成本、快速部署、节能环保等问题。搭建私有云平台，通过虚拟化、自动化等互联网相关技术来解决现有数据中心的各种挑战，随着虚拟化及云计算的日益成熟，将应用服务器等部署在基于私有云的平台上，以达成如下建设目标：\uf0d8使数据中心IT资源池化，统一以服务的方式提供给用户。\uf0d8根据业务负载，云平台自动弹性的分配计算、存储、网络资源给用户，快速帮助搭建业务应用。\uf0d8IT资源可以快速部署，从月/天提升到分钟/秒级别，提高创新效率。\uf0d8自动化运维管理企业数据中心IT资源，提高企业IT管理人员的运维效率。3.建设规划3.1.建设原则项目建设遵循如下几个原则：2\uf0d8自主可控原则本次的建设建议采用自主可控技术搭建私有云，保障私有云信息安全。\uf0d8循序渐进原则本项目的建设不是一蹴而就，应循序渐进。在本次建设中，应该本着符合使用来控制规模，如果后续仍然有业务系统需要迁移，可以利用私有云的可扩展性，逐步完成扩展。\uf0d8统一规划和分布实施原则本项目的建设需要通过建设统一的顶层框架，统一规划、统一实施和统一管理，保证项目按照进度、按计划建设。\uf0d8先进性原则本项目的建设，要求技术具有先进性，并保证在未来一段时间内具有先进性和扩展性。3.2.项目建设内容、思路及技术规划从架构上来看，私有云数据中心主要由6个部分组成：计算虚拟化资源；共享存储资源；融合网络资源；安全防护资源；应用优化资源；统一管理平台；计算虚拟化资源与共享存储资源提供了云计算中最为基础的计算与存储系统，安全防护资源与应用优化资源提供了安全优化的附加增值服务，统一管理平台和使用交付平台为外部的用户与管理员提供了云计算资源管理使用的入口，融合网络资源通过连接整合将上述6个部分紧密结合在一起，使云计算资源能够作为一个真正的整体对外提供服务。3.2.1.计算虚拟化系统设计为了使大量的服务器资源能够集成在一起，统一对外提供计算服务，必需部署软件的虚拟化系统来整合成云。因此在私有云数据中心内，服务器虚拟化软件平台是该系统最为核心的组成内容。虚拟化软件平台通常分为虚拟化业务平台和管理平台两个部分，业务平台部署在大量的物理服务器计算资源上，实现计算资源一虚多的虚拟化业务需求；而管理平台则通常会部署在统一管理平台组件内部，对业务平台所在物理服务器计算资源进行统一调度部署。3服务器虚拟化平台主要提供分区、隔离、封装和迁移4个关键特性。分区：在单一物理服务器上同时运行多个虚拟机。隔离：在同一服务器上的虚拟机之间相互隔离。封装：整个虚拟机都保存在文件中，而且可以通过移动和复制这些文件的方式来移动和复制该虚拟机。迁移：运行中的VM可实现动态迁移到不同物理机的虚拟平台上。3.2.2.共享存储系统设计在私有云数据中心内部，除了使用虚拟化平台对物理服务器计算资源进行整合以外，还需要对存储资源进行集中处理，以达到数据级别的资源整合。存储系统实现上有很多技术分类，根据服务规模要求，在私有云数据中心内主要使用IPSAN、FCSAN或NAS作为共享存储系统提供数据存储服务。存储系统整合后，可以通过专业的软件平台为服务器集群提供数据共享服务。3.2.3.融合网络系统设计在私有云内部，根据位置和连接资源的不同，网络系统通常可以分为五个部分。接入网络：服务器到接入设备之间。后端网络：服务器到存储设备之间。前端网络：接入设备到核心设备之间。互连网络：数据中心之间互连部分。边缘网络：数据中心与外部网络互连部分。\uf0d8接入网络接入网络主要用于连接物理服务器与接入层设备，在私有云中，由于大量虚拟化技术的应用，对接入网络的挑战从传统的物理服务器间流量传输变化为如何更好的承载虚拟机之间的流量。从技术思路上来说，目前主要是由虚拟化软件厂商主导的将流量处理工作都交由物理服务器的虚拟交换机vSwitch完成，同一物理服务器内部虚拟机交互流量由vSwitch本地转发，不同物理服务器的虚拟机通信时通过在vSwitch之间建立隧道技术完成，无需关心中间物理网络的连接方式，此类方案代表技术如VXLAN、NVP等。\uf0d8后端网络后端网络主要用于连接服务器资源与存储资源，可选方式以FC/IP/NAS几种为主，设计原则依据存储资源的类型选择。\uf0d8前端网络根据数据中心的计算资源规模大小，前端网络可以选择采用二层或三层架构设计。4\uf0d8互连网络私有云中多地部署数据中心站点已经是很常见的建设方式，多个数据中心之间使用前面提到的vSwitch之间建立的隧道如VXLAN/NVP等，好处是对中间网络没有特殊需求，只要能够保证服务器的vSwitch间IP层能够实现通信即可，无论是数据中心内部的前端网络还是站点之间的互连网络，只需提供最基本的IP通信，对网络的依赖性降到最低。\uf0d8边缘网络边缘网络用于私有云内部应用对外提供服务，考虑到私有云的安全性，因此必须使用专业的物理防火墙设备，对内外网做安全隔离。3.2.4.安全防护系统设计安全在私有云环境中更加重要。私有云数据中心系统设计时，要分四个方面来考虑安全防护系统设计。\uf0d8接入防护私有云数据中心需要为管理人员提供管理服务，首先需要管理员进行安全防护。主要通过SSLVPN/IPSECVPN/PORTAL等手段对管理员身份进行辨识确认，并分配访问权限。\uf0d8网络防护网络防护指私有云内部网络中提供的流量安全防护手段，技术上通常是通过读取流量报文中的特定字段，去匹配预设内容，进而执行通过、删除或统计等动作，针对OSI模型L2-L7可以提供不同层次的检测防护。由于数据报文L2-L4的封装报文头内容较为规范，且种类较少，因此交换机和路由器等网络设备可以使用ASIC芯片对相应报文字段进行截取，解析与判断处理，即常用的ACL过滤功能。由于L4以上各层封装内容多种多样，很难将大量的判断工作由简单的ASIC完成，因此需要专门的安全设备使用CPU进行解析处理。而病毒漏洞等特征代码往往隐藏在报文的应用层负载中，所以相应的工作也需要更专业的如IPS等安全设备来识别处理。目前大部被安全设备已支持虚拟化部署。\uf0d8虚拟化防护在私有云中，虚拟化系统是计算资源必不可少的部分，因此也需要考虑在虚拟化方面进行5安全防护，但从技术思路上与网络防护区别不大，主要是以在vSwitch上部署ACL等安全策略和建立虚拟防火墙vFW。\uf0d8应用防护应用防护主要基于操作系统层面，通过软件防火墙等产品或技术基于应用自身进行安全防护。3.2.5.应用优化系统设计私有云数据中心内部，为了提供更好的业务应用系统访问能力，往往需要应用优化系统，典型的应用优化系统有应用负载均衡，系统可以是各自独立的物理设备，也能够以软件授权的形式部署在同一套物理设备上。应用负载均衡系统提供对服务器业务访问的负载均衡能力，原理上通常使用网络地址转换NAT技术，将多个实际的业务系统IP地址转换为一个虚拟业务IP地址对外部提供业务访问。不同的用户访问到达时，负载均衡系统会自动依据预设规则（如轮转、随机和最小连接等），将这些访问请求分发到不同的实际业务系统，达到资源扩展使用的目的。应用负载均衡系统配合计算资源虚拟化管理平台，还可以实现弹性计算智能扩展。即配置虚拟化管理平台与负载均衡系统实现联动，当管理平台检测到当前虚拟服务器访问量较大，CPU或内存等关键指标运行超过预设阀值，则会自动创建新的虚拟服务器，新的访问请求可以被分配到新建的虚拟服务器上，从而降低原有实际业务系统的压力。3.2.6.统一管理系统设计在私有云数据中心内，真正的统一管理是指可以由一位管理员通过一套管理平台系统，方便的完成整个业务系统的部署。技术原理上，需要计算、存储和网络等资源均提供基于标准的API开放接口，统一管理平台可以通过这些标准接口下发配置，对资源实现创建、修改和删除等基本的处理动作。从架构设计上，统一管理平台可以直接和设备资源进行交互，也可以通过对应的管理平台去管理不同的资源。4.私有云建设方案4.1.技术架构规划本次私有云系统除核心网络节点和存储外，全部采用虚拟化方案设计，用于对外提供各种服务的虚拟主机节点集合构成了计算“资源池”，其不仅实现了基于服务器的CPU、6内存、磁盘、I/O等硬件的虚拟化实现动态管理的“资源池”，同时还可以在各类型虚拟主机所在的物理服务器之间进行动态的迁移和变更资源。为此要求将各种类型的物理服务器、存储、网络等设备统一为一个逻辑意义上的“资源池”，从而提高资源的利用率，简化系统管理，实现服务器整合，让IT对业务的变化更具适应力。此次私有云项目使用的产品是VMwarevCloudSuite，VMwarevCloudSuite是VMware提供的云计算数据中心解决案套件。VMwarevCloudSuite是一款基于VMwarevSphere的云计算基础架构解决案。借助vCloudSuite可完成基于策略的监管为每个应用提供适当的可用性和安全性。vCloudSuite提供了一整套组件，该套件通过置的智能机制提供虚拟化基础架构服务(计算、网络、安全性和可用性)，以便根据需要按照定义的策略自动为应用执行调配、放置、配置和控制。图：vCloudSuitevCloudSuite集成了以下产品:\uf06cVMwarevSphere：具备基于策略的自动化功能的计算虚拟化平台\uf06cVMwarevCenterSiteRecoveryManager：自动规划、测试和执行灾难恢复\uf06cVMwarevCloudNetworkingandSecurity：借助体系集成确保虚拟化计算环境的网络连接和安全性\uf06cVMwarevCloudAutomationCenter：支持策略的自助式云计算服务调配\uf06cVMwarevCenterOperationsManagementSuite：对动态云计算环境的性能、容量和配置进行集成式的主动管理\uf06cVMwarevCloudDirector：支持多租户和公有云可延展性的虚拟化数据中心7上述这些产品整合了完整的私有云数据中心解决方案的所有要素，可以根据实际需求选择其中部分或者全部产品组件来搭建私有云数据中心。私有云的系统部署逻辑架构如下图所示：4.2.资源池化4.2.1.计算资源池化在服务器虚拟化面，vCloudSuite的vSphere产品组件是针对x86系统的虚拟化技术，它可以将x86系统转变成通用的共享硬件基础架构，服务器物理硬件、操作系统和应用以松耦合的式联结，虚拟机和上面的操作系统和应用完全独立于底层的硬件。vSphere通过把服务器计算资源抽象化、池化和自动化来实现资源的自由调配和充分利用，8它可以使资源充分利用，并按需调配。当数据中心的服务器需要升级或维护的时候，通过虚拟机迁移技术可以把服务器上的虚拟机在工作状态迁移到另一个主机，始终保持业务的连续性。服务器虚拟化大大增加了数据中心的灵活性和IT的敏捷性，减少管理的复杂度和IT响应时间。4.2.2.网络资源池化与传统解决方案不同，云平台的SDN（软件定义网络）网络使用户的虚机的网络不再是一个扁平化、无法自定义的固定的网络结构，而是一个可以提供丰富的网络功能并能够灵活配置的网络。基于VXLAN+NSX技术，网络将所有物理世界的网络设备都被设计成了可操作的网络对象。只需要在管理面板点击配置，就可以根据业务需要灵活快速地构建复杂的网络环境，使网络管理更加智能，仅仅使用传统交换机等网络设备，而无需网络设备支持SDN，支撑了更灵活便捷的网络扩展。私有云允许不同项目(租户)创建属于自己的网络，并通过项目(租户)的边界路由器连接到外网。不同项目(租户)之间的网络是允许重叠，即不同项目(租户)可以创建相同的网段。4.2.3.存储资源池化对于集中式存储，通过IPSAN或NFS方式将商业存储设备的存储资源分配给虚拟化平台，再由统一的虚拟化管理平台vCenter统一管理分配。4.3.软件定义网络与安全在摆脱现有网络架构对虚拟化环境的束缚上，vCloudSuite的软件定义的网络与安全解决案vCloudNetworkingandSecurity能够以编程的方式将虚拟网络调配、添加到工作负载，以及在当前数据中心乃至多个数据中心根据需要在任意地点放置、移动或扩展。就像服务器虚拟化将虚拟机从底层X86服务器硬件分离出来一样，vCNS将基于软件的虚拟网络从底层网络硬件分离出来，以便支持新的网络运营模式。通过使用VMware软件定义的网络与安全vCNS解决案，实现了软件定义的快速部署，大大提高了数据中心的部署效率。除了这一明显的改变，vCNS对前面提到的传统网络与安全体系结构在虚拟化环境下的缺陷进行了彻底的颠覆，具体容如下图所示。9图：vCNS在虚拟化环境下的优势vCloudNetworkingandSecurity通过设定安全组相关策略，实现云主机的安全隔离，创建安全策略，包含了端口、地址类型、IP协议类型、端口范围及远程连接方式等参数进行设定，规定云主机的安全策略方式，保证云主机的安全性。4.4.高可用与灾难恢复在可用性与灾难恢复面，vCloudSuite提供的软件定义的可用性解决案是基于虚拟化环境的，因此，它具备传统的可用性解决案所无法比拟的独特优势。图：vCloudSuite软件定义可用性解决方案在功能组件层面，多网卡绑定和存储多路径等技术可以在平台发生多种故障时，对平台进10行一定程度的保护。因此，即使某些组件出现了故障，系统仍然可以继续进行相关的操作而不会影响任正在运行的服务。在服务器层面，vMotion可以减少计划的停机时间，它可以在所有设备无故障时保持业务连续运行，不需要仅仅因为正常维护而停止应用。vSphereHA和FaultTolerance分别通过提供中断快速恢复和连续可用性来最小化或消除非计划停机时间，它们可以在发生本地故障时，提供系统可以继续访问应用的能力。在存储层面，StoragevMotion可以通过在存储阵列和跨存储阵列实时迁移虚拟机磁盘文件来避免因计划存储维护或者vSphereVMFS升级等事件而造成的应用程序停机。在数据保护层面，用户可以使用vSphereDataProtection和VADP以简单无中断的式备份整个虚拟机，包括操作系统、应用二进制文件和应用数据。在站点间层面，vCenterSiteRecoveryManager和vSphereReplication可以使企业管理从生产数据中心到灾难恢复站点的故障切换，同时，它还可以管理两个互为恢复站点且具有活动工作负载的站点之间的故障切换。VMware软件定义的可用性解决案覆盖了可能出现问题的各个面，最大限度地提升数据中心的可靠性，可用性以及灾难恢复的能力。4.5.集中式管理VMwarevCenterServer是一款服务器和虚拟化管理软件，提供一个用于管理VMwarevSpher环境的集中式平台。利用vCenterServer，管理员可以自动实施和交付虚拟基础架构。11图：vCenterServer管理拓扑vCenterServer位于vSphere的管理层下。vCenterServer对数据中心进行便捷的单点控制。可提供多基本的数据中心服务，例如：访问控制、性能监视以及配置。它可将各个计算服务器的资源整合起来，以供整个数据中心的虚拟机共享。vCenterServer组件包括用户访问控制、核心服务、分布式服务、vCenterServer插件和vCenterServer接口。4.6.性能监控及管理vCenterOperationsManager从虚拟环境每个级别的每个对象(从单个虚拟机和磁盘驱动器到整个群集和数据中心)收集性能数据。它存储并分析这些数据,而且使用该分析提供关于虚拟环境中任意位置的问题或潜在问题的实时信息。vCenterOperationsManager可与现有VMware产品配合使用，安装好vCenterOperationsManager后，管理员登入vSphereUI用户界面，可看到管理画面，此界面可用于显示当前虚拟基础架构中各节点（可以在vCenter级别，数据中心级别，集群级别，ESXi主机级别以及虚拟机级别上显示节点信息）的资源使用情况和资源需求情况，并以数字的形象直观地呈现负载的高低。对于主要的环境资源，包括CPU，存，网络以及存储等，进行使用情况汇总。图：仪表板界面4.7.自动化部署运用模板规范化部署相关应用，如：Apache、web应用服务、Mysql、云资源管理平台（云12控制器、计算资源虚拟化、存储虚拟化、网络虚拟化）等。实现快速的、批量的部署。\uf0d8自动化手动任务：手工流程的自动化减少了部署工作量。\uf0d8减少脚本撰写和维护工作量：使用再构建集合而非撰写自己的脚本和工具有助于加快部署。\uf0d8错误预防：手动流程是极易出错的。无论是生产中还是生产前都可以看到收益。\uf0d8审计与可见性：能够更好地记录哪里发生了什么情况，缩短了缺陷类选的时间，可以更加顺利地开展审计工作。\uf0d8减少发布工程师的工作时间：生产力提高，错误更少，几乎不用返工。4.8.实例模板概述根据应用和服务配置，私有云定制了一些标准化模板实例，一个实例等同于一台虚拟机，包含vCPU、内存、操作系统、网络、磁盘等最基础的计算组件。根据不同的硬件配置，可以分为多种不同的规格。\uf0d8通用型处理器与内存配比为1:4适用场景：\uf06cI/O密集型业务场景，例如中大型OLTP类核心数据库\uf06c中大型NoSQL数据库\uf06c搜索、实时日志分析\uf06c大型企业级商用软件，例如SAP\uf0d8计算型处理器与内存配比为1:2适用场景：\uf06c高网络包收发场景\uf06cWeb前端服务器\uf06c大型多人在线游戏（MMO）前端\uf06c测试开发，例如DevOps\uf0d8内存型处理器与内存配比为1:8适用场景：\uf06cRedis数据库及其他NoSQL数据库（例如Cassandra、MongoDB等）\uf06c结构化数据库（例如MySQL等）13\uf06c电商、游戏、媒体等I/O密集型应用\uf06cElasticsearch搜索\uf06c视频直播、即时通讯、房间式强联网网游\uf06c高性能关系型数据库、联机事务处理（OLTP）系统\uf0d8浮点运算和并行运算型采用NVIDIAT4GPU计算加速器GPU显存支持4GB和8GB处理器与内存配比约为1:5适用场景：\uf06c音视频编解码\uf06c音视频渲染\uf06c云游戏的云端实时渲染\uf06cAR和VR的云端实时渲染\uf06cAI（DL和ML）推理，适合弹性部署含有AI推理计算应用的互联网业务\uf06c深度学习的教学练习环境\uf06c深度学习的模型实验环境\uf0d8非标准化实例支持配置非标准化模板，可根据服务要求给实例分配资源。适用场景：\uf06cDDoS\uf06cIPS\uf06cLogserver\uf06c日志审计\uf06c数据审计\uf06cSLB\uf06c漏扫4.9.维护区本项目设立安全维护区，在私有云里采用独立物理设备配置，网络上逻辑隔离。主要目的为管理员远程维护提供安全接入。维护区采用SSLVPN提供远程接入服务器，为保障服务可靠性，使用两台互为主备。安全验证采用动态令牌结合用户名密码的方式进行双因子认证，保证终端接入的安全14性。整体设计架构如图所示：4.10.监控系统\uf0d8方案目的针对网络环境的实际需要，对服务器，路由和交换机进行了监测和管理，具体添加CPU、memory、Disk、接口流量、接口状态、接口丢包率，流量流向,协议使用分布，网络增长趋势等监测器,并绘制和发布网络拓扑图，设置专门的报警，在超过预设阈值时发送报警，故障恢复同样发送通知。同时通过长期对公司网络性能监控，在业务网络出现瓶颈前升级，避免因网络性能下降造成的业务损失，实现对网络监测和分析以及网络故障及时发现和故障恢复。并且需长期保存监控数据，以作同期数据比较。\uf0d8方案介绍本次监控系统采用SolarWindsOrion，此系统是一个支持分布式网络监控解决方案的网络监控系统，用于网络性能监测、流量分析、链路监控及配置管理等方面。该系统根据管理员配置的任务模型主动、智能和协作地监控网络，从网络节点收集数据，并分析出其潜在的错误。Orion是专门为各种复杂的网络环境开发的网络管理、网络监控和网络探测工具，能够满足本次私有云监控的需求。\uf0d8系统组成15SolarWindsOrion基于.net架构设计，前端webserver使用IIS，后台数据库使用SQLServer，如图，其包含模块有：SolarWindsOrionNetworkPerformanceMonitor，简称NPM，可独立部署；SolarwindsOrionNetFlowTrafficAnalyzer，简称NTA，依赖于NPM才能部署；SolarwindsOrionIPSLA，简称IPSLA，依赖于NPM才能部署；SolarWindsOrionNetworkConfigurationManager，简称NCM，可独立部署；SolarwindsOrionApplicationPerformanceMonitor，简称SAM，可独立部署；SolarwindsOrionIPAddressManger，简称IPAM，可独立部署；SolarwindsToolset，简称Toolset，可独立安装，是一个用于网络排障的单机工具。\uf0d8采用NPM实现网络性能监控模块描述：SolarWindsOrionNetworkPerformanceMonitor（NPM）是集网络监测、设备性能维护管理、故障监控、网络实时流量监控和历史数据统计、汇总和历史数据分析等功能于一体的网络管理系统。采用NPM对网络中的故障进行科学分析,增强预防性能力，防止网络问题的出现，提高应用监控和网络过基础设施性能，实现更有效的管理，为网络增长提供基于事实的依据。收集来自路由器、交换机、服务器和其他SNMP设备中的数据，可以直接从Web浏览器上观察网络信息的实时统计表。另外，NPM还能监控CPU负载、内存利用率和可用硬盘空间。16NPM功能介绍：网络性能和可用性管理监控网络性能指标,比如带宽利用率，丢包率，延时，errors,discards,和任何SNMP指标。支持SNMPv1、v2c、v3版本。监控硬盘空间，CPU负载，内存使用。详细的问题诊断和网元分析，包括状态，IP地址，设备类型，历史丢包百分比，历史延迟信息，历史数据流量信息等等。网络拓扑图自动发现和显示不同设备之间的连接关系。创建嵌套的多层拓扑图，基于地域，部门，楼层，建筑，机房，机柜等。仅使用简单的拖拽，即可创建个性化拓扑图。个性化的展示风格通过阈值，Top排行，自定义视图及各类图表化的展示，来突出重点问题通过自动化的网络发现，通知管理员网络中增加或者移除设备自定义web视图自定义报表自定义Toplist自定义menubar自定义仪表盘虚拟数据中心监控监控虚拟数据中心，包括VMWarevSphere,虚拟机。追踪VM可用性，性能指标包括CPU,内存，和带宽等监控核心的vCenter信息。自动发现，识别和监控新添加的虚拟机通过自带的VM报表和性能监控接受虚拟机相关的报警通知。高级报警功能定义设备依赖关系，实现级联设备告警风暴抑制。为关联事件定义报警(alertifXandYaretrue)。根据持续条件设置报警(alertifYistrueformorethan5minutes)。自动升级报警，当报警在特定时间没有得到确认，自定发送给其他管理人员。确保不会收到无用报警，抑制洪水报警支持短信、邮件、syslog、trap等多种告警模式。',)