标签归档:云计算

云计算为数据中心带来的新特性和新技术

在云计算场景下,idc的运营商为各类企业提供各种服务,包括云计算的应用、网络和存储服务。在传统的非云计算场景下,物理服务器通常只被单一租户的单一业务使用,所以单台服务器的利用率会比较低。随着业务的扩展,需要不断增加服务器的数量,这样会使得数据中心的规模越来越庞大。

1 云计算为数据中心带来的新特性

在云计算的环境下,计算资源、网络资源和存储资源都可以作为业务发放给用户,从而使得资源共享变得更加灵活和广泛,减少了用户的硬件购置,升级维护等成本终端用户可以使用各种类型的瘦客户端,在任何地方接入建立在云计算上的各类应用。理论上来说,相对于应用装在用户本地终端的传统方法,云计算用户应该获得相同或甚至更好的用户体验。为了达到这样的效果,对于支撑云计算的数据中心就有了更多新的要求。本文将逐一阐述这些数据中心的新特性,并探讨为了满足这些新特性而产生的核心技术及其演进预期。本文所述的数据中心都是指互联网数据中心fin—ternet data center,idc)类型的数据中心。

1.1服务器虚拟化和自由迁移

在云计算的场景下,由于idc为大量而不是单一的企业或用户提供服务,所以业务量会极其庞大。靠不停地增加物理服务器对于成本和网络规模来说都难以接受。虚拟化技术使得一台物理服务器可以被虚拟成多台服务器来使用,从而利用了原本闲置的资源,提高了服务器的使用率,所以使用相对较少的物理服务器就能满足idc的业务需要。通常对于多核cpu的服务器来说,可以虚拟成每个cpu一个虚拟机来使用。对于某些cpu资源消耗不太大的应用,例如vdi(虚拟桌面),甚至一个cpu可以虚拟成四个或更多的虚拟机。当然虚拟化还要受到硬盘的每秒i/o数和内存的限制。

除了提高使用率外,虚拟化还使得服务器自由迁移变成可能。在传统的数据中心,进行服务器的迁移是一项非常浩大的工程。必须事先进行规划,需要谨慎计划割接时间,做好备份。服务器需要进行断线断电,搬移,重新上电上线,通常业务会中断,所以搬迁服务器是极少发生的。而使用了虚拟化技术以后,虚拟机的迁移不再涉及到物理上的搬迁。并且可以使用各种技术,例如渐进式内存复制等方法使得迁移平滑进行,保证了迁移时用户不感知,相关业务不中断,不受影响。自由迁移为数据中心的容灾备份,节能环保,网规网优提供了不可替代的便利。虚拟机的自由迁移满足了云计算环境下用户随时随地进行数据接入的需求。

1.2支持多租户

在非云计算的时代,通常各个租户或者企业都需要自建数据中心或者租用运营商的硬件和基础设施用于自己的服务计算和数据存储。在这种情况下,可以理解为租户自己拥有独立的数据中心,可以自己进行运维也可以将运维托管给运营商。在使用了云计算以后,企业或者租户可以向提供云计算的运营商租用计算资源,网络资源,存储资源,而不再是租用硬件和基础设施,从而简化或完全不需自建及自行运维数据中心。另外,云计算运营商的数据中心则会变得更加的复杂和庞大。其中的一个挑战就是支持多租户。

支持多租户主要体现在:

(1)针对每个租户业务的快速配置和部署。每个租户在云计算运营商申购的资源需要能够快速自动地在数据中心的网络中使能,还包括防火墙、ips/ids , loadbalancer等设备的相应配置,做到即插即用。

(2)租户之间的流量隔离。实际上,由于租户之间可能共享硬件设备、带宽、存储等资源,为了保证安全,在以二层网络为主的数据中心,租户之间的流量需要进行隔离,防止租户甲的流量被租户乙接收到。传统的二层网络基于vlan(虚拟局域网)进行流量隔离的方法受限于4096个的vlan数量限制。

(3)网络配置和与租户应用相关的配置解藕。

1.3无阻塞网络

支持云计算的数据中心吞吐量极大的增加。由于云计算数据中心内部资源节点(服务器、存储、数据库等)之间的访问需求和交互流量相比于传统数据中心都将大大增加,所以云计算数据中心吞吐量会对组网技术提出了严峻挑战。另外,云计算数据中心经常采用分布式计算。分布式计算对数据中心的流量模型带来了巨大的变化,流量模型从以纵向流量(南北向流量,用户访问服务器流量)为主转变为以横向流量(东西向流量,服务器之间的流量)为主。

传统的数据中心的网络架构多是基于树形的,下行和上行的带宽有收敛比。这样就会造成拥塞。在云计算数据中心,需要构建无阻塞的网络来满足流量需求。基于胖树结构的拓扑将被用于构建无阻塞的网络。胖树解决了树结构根节点易成为通信瓶颈的问题。胖树结构中,越接近根节点,链路的带宽越大。对于理想的胖树结构,上层链路带宽应为下层链路带宽之和。

使用胖树结构的数据中心网络拓扑,要求每台边缘交换机和所有核心交换机都建立连接,同时,核心交换机和每台边缘交换机之间有且仅有一条链路连接。从边缘交换机到核心交换机之间的流量均衡是降低网络拥塞的关键。

2 云计算数据中心的网络新技术

为了满足前面所述的新需求,一些新的适用于云计算数据中心的网络技术也随之出现。这些新技术分别着重解决一个或多个问题。作为云计算数据中心的整体解决方案,很多技术需要联合使用。这些新技术有些还处于研究或者优化的阶段,随着业界对于云计算数据中心理解的加深以及商业模式或应用的拓展,可以预见更多的技术或者优化将会被提出及使用。

2.1虚拟感知

当越来越多的服务器可以支持虚拟化以后,接入层的概念不再仅针对物理端口,而是延伸到服务器内部,为不同虚拟机之间的流量交换提供服务,将虚拟机同网络端口关联起来。虚拟机之间的数据交换通常由虚拟交换机来完成,但内置在虚拟化平台上的软件虚拟交换机(vswitch)无法被网络设备感知,甚至也不由网络管理员管理。所以这种使用网络不感知的虚拟交换机的方法无法实现虚拟机之间通信的流量监管、虚拟交换机端口策略等功能。支持一或多个虚拟机附着的端站称为evb,每个虚拟机有至少一个虚拟机接口vsi,每个虚拟机可以和其他虚拟机通信,或者通过边界中继er和桥接lan上的其他虚拟机通信。传统的虚拟交换机在内部对于同一个物理服务器的不同vm直接可以直接进行流量转发,这种方式被成为veb (virtual edgebridging,虚拟边缘桥接)。除了veb之外,一种新的方式vepa(virtual ethernet port aggregator,虚拟以太端口汇聚)也被制订。vepa的核心思想是,将虚拟机产生的网络流量全部交由与服务器相连的物理交换机进行处理,即使同一台服务器的虚拟机间流量,也发往外部物理交换机进行转发处理。

vepa的目标是要将虚拟机之间的交换行为从服务器内部移出到上联交换机上,当两个处于同一服务器内的虚拟机要交换数据时,从虚拟机a出来的数据帧首先会经过服务器网卡送往上联交换机,上联交换机通过查看帧头中带的mac地址(虚拟机mac地址)发现目的主机在同一台物理服务器中,因此又将这个帧送回原服务器,完成寻址转发。整个数据流经历了一次回环((hairpin),而这在传统的交换设备上是不被允许的。

evb标准还定义了“多通道技术(multichannel)”,可以使得veb和vepa同时存在于一台物理服务器,一个veb或vepa可以对应一个通道,这样为数据识别和流量管理,以及网络配置都提供了便利。

为了支持上述功能的实现,相应的虚拟感知和发现协议也同时被定义。当一个虚拟机上线的时候,它需要通过vdp(虚拟机发现协议)来和相邻的物理交换机进行通告和配置信息交换。这样临近的物理交换机上可以感知到虚拟机的上线,并对于网络策略或参数进行下发和配置。

除了ieee 802.1qbg以外,还有其他的一些机制和协议也用于虚拟感知和发现,例如ieee802.1br所描述的端口扩展技术。可以把虚拟端口统一映射到控制桥上,进行更集中的管理、配置和维护。

2.2租户overlay网络

为了使得云计算数据中心可以支持大量的租户,租户overlay网络的概念被提了出来。不同的租户之间流量隔离,且租户的数量远远大于传统12比特vlanid能提供的40%的租户数。在ip层之上提供一层overlay网络,使用特殊格式的封装即特殊的overlay的报头来区分不同的租户。封装格式可以是多种多样的,例如vxlan或者nvgre的方式。无论overlay的封装格式是怎样,它的核心思想都是映射加封装。

某租户的vm1发送报文给同一租户的vm2的时候,边缘入口节点s1将来自于租户源vm1的报文目的地址(即vm2的地址)映射为传送报文的隧道的出口节点地址(即s2的地址)。人口节点s1将原始报文进行封装通过隧道传递后,出口节点s2将封装剥除,恢复出原始报文并传递给最终的目的vm2o这个流程里面主要涉及两个问题,一是封装格式,二是控制平面对于映射的管理。封装格式前面已说过,可以是多种多样。而控制平面的对于映射和隧道的管理,则需要有比较统一的方法。理论上来说,可以分为两类,自发学习或通过控制信令。

自发学习的方法适用于比较小型的数据中心,类似于传统的2层地址学习。节点对接收到的报文进行内外层地址的对应关系学习,例如图4中s2上学习到(vm1, s1)的地址映射关系。自发学习的方法比较简单,但是通过控制信令的方式扩展性更好,更适用于大型的数据中心。隧道的端点需要通过控制信令来对注册和解注册相应的地址对应关系。vm在上线的时候它的地址和隧道的映射关系将被注册,在迁移的时候注册关系将被更新,在下线的时候注册关系将被删除。

租户overlay的方法可以使得网络本身对于租户内部的地址管理透明,策略可以根据租户来下发。租户的流量隔离将会在边缘节点基于租户id来实现,突破了传统的使用二层以太网vlan来隔离的租户数目限制。

IaaS虚拟化平台的云计算网络设计

随着云计算技术的推广,利用开源项目构建企业级私有云已成为云计算应用的一种重要趋势。但这种变化使得rr基础架构的运营专业化程度不断集中和提高,所以如何在基础架构、网络和存储方面达到更高的层次,是现今急待解决的问题。虚拟化技术作为一项比较成熟的技术,能够实现计算资源划分和聚合,服务透明封装及虚拟机动态迁移等,能够满足云计算按需使用、弹性扩展的需求,已经成为云计算的关键支撑技术。

在当前,云计算是一种新的计算模式,它正改变着传统的计算系统的占有和使用模式。它以网络化的方式组织和聚合计算与通信资源,以虚拟化的方式为用户提供可以缩减或扩展规模的什算资源,增加了用户对于计算系统的规划、购置、占有和使用的灵活性。

用户在云计算当中所关心的核心问题其实不是计算资源本身,而是他所能获得的服务。而从这个角度看来,服务问题(服务的提供和使用)是云计算中的核心和关键问题。

云计算是通过管理、调度与整合分布在网络上的各种资源,以统一的界面为大量用户提供服务。云计算涉及两层内容:云计算基础设施以及建立在基础设施上的信息服务云应用。它是一种新兴的网络计算模式,云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。

IaaS(InfrastructureasaService)基础设施服务

在云计算之中,有SPI,即SaaS(Softwareasaservice),PaaS(Platformasaservice)和IaaS三大服务模式。这是目前被业界最广泛认同的划分。PaaS和Iaas源于SaaS理念。PaaS和Iaas可以直接通过SOA/Webservices向平台用户提供服务,也可以作为SaaS模式的支撑平台间接向最终用户服务。IaaS有两种用法:公有的和私有的。本文主要介绍在私有模式下,使用平台内部数据中心的服务器提供服务给用户。用户可以通过平台得到所有设施的利用,包括处理、存储,网络和其它基本的计算资源用户能够部署和运行任意软件,包括操作系统和应用程序。

VM(VirtualManufacturing)虚拟主机

虚拟化技术可以提高硬件的使用率,简化软件的重新配置过程,从而显著提高计算机的工作效率。虚拟化技术可以基于云计算技术的企业和托管的服务提供商创建一种虚拟的、自动化的、灵活高效的IT基础设施。VM主机是灵动网络利用技术,将一台服务器分割成多个虚拟机(VM主机)的优质服务。这些VM主机以最大化的效率共享硬件、软件许可证以及管理资源。

对其用户和应用程序而言,每一个VM主机平台的运行和管理都与一台独立主机完全相同,因为每一个VM均可独立进行重启并拥有自己的root访问权限、用户、IP地址、内存、过程、文件、应用程序、系统函数库以及配置文件。每个VM主机都可分配独立公网IP地址、独立操作系统、独立超大空间、独立内存、独立CPU资源、独立执行程序和独立系统配置等。

平台网络设计

IaaS平台基础架构主要包括计算、网络和存储3大部分。整个IaaS云平台将这3大部分集成整合,就构成了IaaS的基础设施服务。整个系统通过与外部云网络的互联以及OSS/BSS支持,可以根据需求向用户提供各种服务。网络是云计算平台的核心,虚拟化的计算资源和存储资源最终都需要网络为用户提供访问。所以网络是平台设计的重点。服务器是IaaS平台的硬件基础,根据系统对网络的要求,服务器需要综合一些弹性的网络适配器,这些适配器可将数千服务器和存储单元整合为一个虚拟化、高性能、低延迟的网络结构,同时使其具有高可扩展性,可整合多种协议规范。实现网络连接和网络容量从最边界到核心的全面虚拟化。

虚拟网络交换

虚拟机网络交互主要是通过虚拟网络交换机来完成的。虚拟交换机在主机内部提供了多个网卡的互联以及为不同的NIC流量设定不同的VLAN标签,如同主机内部存在一台交换机,可以方便地将不同的NIC连接到不同的端口。所以当NIC连接到系统的虚拟连接(VirtualConnect,VC)模块时,叶片相互之间也就建立起了连接,并且连接到了系统的VC交换机,整个虚拟网络也就形成。每个叶片在虚拟网络内连接上两个VC模块,叶片之间相互连接并与虚拟交换机相连。这样使得虚拟网络和外部网络能够自动连接,并且各虚拟设备可以成为系统网络的默认配置。

外布连接

外部网络采用IEEE802.1QbgEVB(EdgeVirtualBridging)和802.1QbhBPE(BridgePortExtension)协议标准,其中802.1Qbg要求所有VM数据的交换都通过外部网络进行,即外部网络能够支持虚拟交换功能。802.1Qbh可以将远程交换机部署为虚拟环境中的策略控制交换机,而不是部署成为邻近服务器机架的交换机,通过多个虚拟通道,让边缘虚拟桥复制帧到远程端口,可以利用堆叠的方式来设计网络,从而更有效地为多播、广播和单播帧分配带宽。

IaaS平台能为客户提供虚拟、可靠、弹性、按需的IT服务,作为连接用户和承载各种计算存储资源的网络,除了具备现有网络功能外,还需满足云计算特性的更高要求。随着云计算产业发展步伐的加快,网络虚拟化技术必须有更快的发展,才能带动整个云计算生态环境稳步向前。