導讀:近年來,云計算的實踐者從最初的互聯網科技行業(yè),正逐步向金融、公共事業(yè)、零售、生產制造等傳統(tǒng)行業(yè)滲透。同時,隨著產業(yè)數字化的推進,企業(yè)中也產生了不同的業(yè)務形態(tài)。
報告編委
報告指導人
張 揚 愛分析 聯合創(chuàng)始人&首席分析師
報告執(zhí)筆人
李 喆 愛分析 合伙人&首席分析師
馮 偉 愛分析 分析師
外部專家(按姓氏筆劃排序)
劉 辰 京東智聯云 副總裁
劉汪根 星環(huán)科技 聯合創(chuàng)始人&研發(fā)總監(jiān)
張 瑋 安暢網絡 CTO
庫依楠 SmartX CMO&戰(zhàn)略合作總監(jiān)
苗 權 觀脈科技 CTO
特別鳴謝(按拼音排序)
前言
近年來,云計算的實踐者從最初的互聯網科技行業(yè),正逐步向金融、公共事業(yè)、零售、生產制造等傳統(tǒng)行業(yè)滲透。同時,隨著產業(yè)數字化的推進,企業(yè)中也產生了不同的業(yè)務形態(tài)。
在這一過程中,無論是單一的公有云,還是單一的私有云、虛擬機都逐漸難以滿足企業(yè)需求,許多企業(yè)的IT架構正在逐步從單一的物理機、虛擬機逐步走向多云、混合云、分布式邊緣云并存的局面。在這樣的背景下,云計算產業(yè)生態(tài)呈現多元化、多層次發(fā)展的趨勢。
因此,如何將云計算生態(tài)中的不同元素進行深度整合,形成能夠穩(wěn)定、安全、高效、靈活地支撐多形態(tài)業(yè)務的混合云、邊緣云平臺解決方案,已經成為企業(yè)上云的主要課題。
面對這樣的課題,企業(yè)應當采用何種解決方案?又應當如何在市場上選擇合適的云廠商來構建解決方案?對于這些問題的答案,來自市場的信息往往十分紛繁雜亂,而下面這三類企業(yè)都十分希望獲得一些來自專業(yè)、中立、客觀的第三方研究與咨詢機構的建設性意見:
1) 近期有上云計劃,或正在進行云廠商采購決策的企業(yè);
2) 正在進行云計算實施落地的企業(yè);
3) 已經進行了云計算的實施落地,但仍然打算持續(xù)優(yōu)化和創(chuàng)新云計算應用模式的企業(yè)。
因此,本報告將向以上三類企業(yè)闡述混合云和分布式邊緣云誕生的背后邏輯,分析它們在實踐過程中面臨的挑戰(zhàn),并提出應對這些挑戰(zhàn)的最佳方案。此外,本報告還將對未來云計算的發(fā)展趨勢進行判斷,從而幫助企業(yè)更好地對未來的業(yè)務創(chuàng)新進行提前布局。
目錄
一. 企業(yè)級云計算形態(tài)向混合云與邊緣云演進
二. 混合云的實踐路徑選擇與面臨挑戰(zhàn)
三. 混合云基礎設施平臺建設
四. 多云架構的云原生技術中臺建設與應用交付
五. 哪些云計算新趨勢將為企業(yè)創(chuàng)造更多價值?
結語
關于愛分析
法律聲明
1.企業(yè)級云計算形態(tài)向混合云與邊緣云演進
1.1 企業(yè)數字化轉型驅動業(yè)務上云
近年來,隨著國內外經濟環(huán)境的變化,企業(yè)要想在新形勢下持續(xù)獲取業(yè)務增長的新動能,亟需改變過去以人力疊加和經驗積累來驅動業(yè)務增長的經營模式,通過更前沿的信息技術手段來重塑企業(yè)業(yè)務流程和模式,已經成為中國企業(yè)的當務之急。
2020年新冠疫情的蔓延對于企業(yè)在疫情期間的業(yè)務應對能力提出了更高的挑戰(zhàn),企業(yè)對前沿技術的采納和應用程度成為決定其應對能力的重要因素。
從發(fā)展歷程來看,中國企業(yè)對信息技術的采納和應用經歷了三個連續(xù)的發(fā)展階段,即從早期的以傳統(tǒng)信息技術驅動的信息化轉型,到中期的以互聯網和通訊技術驅動的互聯網化轉型,再到新時期以云計算、人工智能、大數據等新興信息技術為驅動的數字化轉型。
在這三個發(fā)展階段中,信息化轉型階段深刻塑造了企業(yè)早期的IT能力和技術架構,也在企業(yè)中沉淀了大量的傳統(tǒng)應用系統(tǒng)。而互聯網化轉型階段則催生了企業(yè)商業(yè)模式的變革,誕生了大量基于互聯網業(yè)務形態(tài)的新興企業(yè),而這些企業(yè)中的佼佼者則包括美國的亞馬遜和中國的阿里巴巴,而這些互聯網巨頭也成為云計算技術最早的探索者、實踐者。
隨著中國企業(yè)數字化進程的進一步推進,云計算技術的實踐者逐步從新興的互聯網行業(yè)拓寬到金融、零售、政府、能源、電信、交通、制造業(yè)、醫(yī)療、教育等傳統(tǒng)行業(yè),從而進一步帶動了云計算應用場景的不斷進化,這又反過來推動了云計算的技術、產品與服務形態(tài)不斷演進。
在企業(yè)數字化轉型過程中,云計算能夠為企業(yè)降低成本、提升效益,為企業(yè)業(yè)務創(chuàng)新、AI等新興技術的應用創(chuàng)新提供有力支撐,還能夠通過虛擬化技術降低其對硬件設備的要求來提升基礎設施自主可控水平,在整個企業(yè)數字化轉型過程中居于基礎設施地位。
為了適應企業(yè)的業(yè)務創(chuàng)新、技術創(chuàng)新帶來的敏捷性需求,同時滿足企業(yè)在效率、成本、安全等方面的需求,云計算的形態(tài)從最初的公有云、私有云,逐步發(fā)展出混合云與分布式邊緣云等多種云計算形態(tài)。
1.2 多重因素驅動云計算形態(tài)演進
愛分析認為,在云計算形態(tài)演進過程中發(fā)揮推動作用的三大因素是:擴容成本、擴容效率、數據存儲安全性,它們影響云計算形態(tài)演進的邏輯如下圖所示。
擴容成本:隨著企業(yè)IT架構的發(fā)展,IT系統(tǒng)之間出現了“穩(wěn)態(tài)”和“敏態(tài)”業(yè)務的差異,而它們工作負載的波動性差異,導致它們所期望的基礎設施擴容比例不同。
面對這種差異,不同云形態(tài)的擴容成本支出存在一次性硬件建設支出和訂閱式收費支出兩種模式,使得其擴容成本不同,因此企業(yè)需要采取不同的策略來實現成本優(yōu)化。
注:“穩(wěn)態(tài)”與“敏態(tài)”源自Gartner于2014年提出的“雙模IT”概念?!胺€(wěn)態(tài)IT”指業(yè)務目標相對明確、流程相對成熟的IT系統(tǒng),“敏態(tài)IT”指業(yè)務模式處于不斷創(chuàng)新和迭代中的IT系統(tǒng)。但本文中的“穩(wěn)態(tài)”與“敏態(tài)”更加側重于業(yè)務部署后的來自業(yè)務訪問端的工作負載量的差異,即敏態(tài)業(yè)務常常會經歷明顯的負載高峰,而穩(wěn)態(tài)業(yè)務則很少經歷這樣的高峰。
擴容效率:穩(wěn)態(tài)和敏態(tài)業(yè)務由于單位時間內產生負載大幅度波動的頻次不同,因此期望基礎設施具備的擴容效率不同。
面對這種差異,不同云形態(tài)所具有的計算、存儲資源數量,以及其底層架構的特性不同,使得它們的擴容效率、擴容成本都存在差異,即擴容彈性能力存在差異,因此企業(yè)需要采取不同的策略來實現擴容效率提升。
數據安全性:企業(yè)的業(yè)務也存在核心和傳統(tǒng)性業(yè)務、互聯網和創(chuàng)新性業(yè)務的安全級別差異,它們對于基礎設施所具備的等保合規(guī)級別、數據隱私性強弱存在差異。比如,等保2.0要求企業(yè)的云計算平臺為等保四級業(yè)務應用系統(tǒng)劃分獨立資源池,而對數據隱私較為關注的企業(yè)往往對于業(yè)務等保級別的要求更高。
面對這種差異,不同云形態(tài)的底層物理資源池的劃分和歸屬方式、數據存儲的物理隔離性存在差異,這也意味著其等保級別的滿足性存在差異,因此企業(yè)需要采取不同的策略來實現安全合規(guī)性提升。
基于在不同業(yè)務場景下,企業(yè)對于降低成本、提升效率、提升安全三方面的需求強弱差異,云計算出現了從基于公有云、私有云的單一云形態(tài),向以混合云、分布式邊緣云為主的多云形態(tài)的演進。
1.3 面向雙模IT,公有云與私有云優(yōu)勢各異
眾所周知,云計算技術的先行者亞馬遜AWS最早定義的云計算模式,就是依托于數據中心資源,通過互聯網基礎設施,為企業(yè)提供集中化、共享式的服務器資源租用,這也就是公有云的服務模式,但它在實踐中被證明更加適合互聯網科技型企業(yè)的需求。
而當云計算逐步進入到金融、政府、電信、能源、交通、制造業(yè)、醫(yī)療、教育等傳統(tǒng)行業(yè)時,公有云的服務模式逐漸難以滿足企業(yè)需求,在企業(yè)數或第三方數據中心內部建設私有云成為必然選擇。
這種差異的驅動因素是不同類型的企業(yè)的業(yè)務對于擴容成本、擴容效率、數據存儲安全性三方面需求的差異,其中前兩者的需求可以歸結為彈性需求,如下圖所示。
彈性需求:敏態(tài)業(yè)務、互聯網和創(chuàng)新型業(yè)務的工作負載波動性較高且難以預測,開發(fā)測試環(huán)境處于快速迭代中,隨時會需要新的開發(fā)測試資源,更適合由具備高彈性的公有云來承載。穩(wěn)態(tài)業(yè)務、核心業(yè)務和傳統(tǒng)性業(yè)務的工作負載相對穩(wěn)定,一般不需要進行頻繁擴容,而且常常擁有大量的本地硬件基礎設施,需要考慮利舊的需求,因此更適合由一次性建設投入為主、無持續(xù)訂閱投入的私有云來承載。
安全性需求:敏態(tài)業(yè)務、互聯網和創(chuàng)新型業(yè)務、開發(fā)測試環(huán)境對安全性要求較低,而采取共享物理資源池的公有云完全能夠滿足這類業(yè)務的安全性需求。穩(wěn)態(tài)業(yè)務、核心業(yè)務和傳統(tǒng)性業(yè)務對安全性要求高,部分業(yè)務甚至要求達到等保四級,因此具有專屬資源池、能夠滿足等保四級要求的私有云才能夠滿足這類業(yè)務的安全性需求。
從以往企業(yè)的信息化和數字化程度來看,互聯網和創(chuàng)新型企業(yè)的業(yè)務以敏態(tài)業(yè)務、互聯網和創(chuàng)新型業(yè)務為主,同時需要擁有大量的開發(fā)測試環(huán)境,而傳統(tǒng)型企業(yè)的業(yè)務以穩(wěn)態(tài)業(yè)務、核心業(yè)務和傳統(tǒng)性業(yè)務為主。
因此,我們看到的以往狀況是互聯網和創(chuàng)新型企業(yè)更多地會采用公有云,傳統(tǒng)型企業(yè)更多地會采用私有云。這種企業(yè)之間、業(yè)務之間的需求差異性,使得過去公有云和私有云之間的關聯較少,很少需要進行緊密配合。
但是,隨著企業(yè)數字化進程的深入和業(yè)務模式的創(chuàng)新,傳統(tǒng)型、創(chuàng)新型企業(yè)的應用場景出現了拓展和融合。在這種背景下,公有云與私有云的優(yōu)勢和特性可能是越來越多的企業(yè)希望同時享有的。
1.4 IT成本優(yōu)化訴求之下,混合云已成大勢所趨
隨著企業(yè)數字化轉型的深入,傳統(tǒng)型企業(yè)、互聯網和創(chuàng)新型企業(yè)的業(yè)務需求都發(fā)生了變化:
1)一方面,越來越多的傳統(tǒng)企業(yè)開始探索“互聯網+”、“AI+”等創(chuàng)新業(yè)務,這部分業(yè)務一般屬于工作負載量波動較大的敏態(tài)業(yè)務。此外,在業(yè)務創(chuàng)新過程中,傳統(tǒng)企業(yè)也需要敏捷的開發(fā)能力和高效獲取的各類資源。因此,傳統(tǒng)企業(yè)在持續(xù)使用私有云的同時,也需要公有云來承載創(chuàng)新業(yè)務和開發(fā)測試環(huán)境。
2)另一方面,大量互聯網和創(chuàng)新型企業(yè)在業(yè)務發(fā)展到穩(wěn)定階段后,盡管其敏態(tài)業(yè)務的工作負載波動性仍然較大,但是其波谷的負載量也達到了相當水平,而這部分負載量將會持續(xù)存在很長時間,可以視為“敏態(tài)業(yè)務中的穩(wěn)態(tài)業(yè)務”。因此,互聯網和創(chuàng)新型企業(yè)除了維持一部分公有云資源來應對負載高峰的同時,還會將這部分持續(xù)存在的工作負載遷移到私有云上。
以上傳統(tǒng)型企業(yè)、互聯網創(chuàng)新型企業(yè)的兩種業(yè)務邊界拓展方式,使得原來他們與私有云、公有云的緊密綁定關系被打破,由公有云、私有云共同提供服務成為越來越明顯的趨勢。在這種背景下,混合云的應用空間大大擴展了。
總體來看,相比于公有云、私有云方案,混合云方案的優(yōu)勢主要體現在成本方面,而效率方面幾乎能夠獲得等同于公有云的特性,安全方面則能夠獲得幾乎等同于私有云的特性:
(1)與互聯網和創(chuàng)新型企業(yè)原有的純公有云方案相比,混合云的成本之所以更加優(yōu)化,并非是單純的由私有云來取代一部分公有云,而在于讓私有云承載了適合其特性的穩(wěn)態(tài)業(yè)務類型,實現了私有云部分成本最優(yōu)。
(2)與傳統(tǒng)型企業(yè)原有的純私有云方案相比,混合云的成本之所以更加優(yōu)化,并非是單純的由公有云來取代一部分私有云,而在于讓公有云承載了適合其特性的敏態(tài)、創(chuàng)新型業(yè)務以及開發(fā)測試環(huán)境,實現了公有云部分成本最優(yōu)。
因此,探索能夠融合公有云、私有云兩種云形態(tài)優(yōu)勢的混合云架構,同時實現良好的協同管理,成為未來企業(yè)級云計算的必然趨勢。正如全球基礎云架構方案商VMware所定義,混合云(Hybird Cloud)主要指公有云和私有云協同工作的應用方式,以及任意的能夠通過辦公場所內和場外的工作協同來提供云計算服務的解決方案組合。
現階段,混合云的市場滲透率還處于較低水平。據中國信通院數據顯示,2018年中國使用云計算的企業(yè)比例為58.6%,其中混合云的采用率為8.1%,而公有云、私有云分別是36.4%和14.1%。據Gartner數據顯示,2019年全球云計算IaaS市場規(guī)模達455億美元,在全球4581億美元的IT軟件支出為中僅占不到10%的比例,而云計算在中國的滲透率相對更低。
由此來看,中國未來的混合云市場將有極大的發(fā)展動力與潛力,而率先應用混合云的企業(yè)在相當長的時間內將代表企業(yè)數字化轉型的最先進力量,在企業(yè)效能的競爭中將占據領先地位。
1.5 萬物互聯時代背景下,分布式邊緣云方興未艾
在更大意義上,混合云僅僅是多云架構的類型之一。根據Flexera旗下的全球云管理服務廠商RightScale每年發(fā)布的云狀態(tài)報告的定義,多云(Multi-Cloud)同時包括了多公有云(Multiple public)、多私有云(Multiple private)和混合云(Hybird Cloud)。
在傳統(tǒng)多云架構中,無論是多公有云、多私有云還是混合云,數據處理能力都是集中式的,即大部分數據都統(tǒng)一匯集到這些云平臺中進行處理。
但是隨著萬物互聯時代的來臨,企業(yè)的云計算應用場景發(fā)生了明顯的變化,來自企業(yè)邊緣側的高數據密度、時延敏感的應用場景明顯增加,比如面向互聯網企業(yè)的音視頻加速需求的內容分發(fā)網絡(CDN)、工業(yè)互聯網的工業(yè)設備數據、智慧安防中的安防攝像頭數據、智慧交通中的路況和車輛數據的采集、處理和分析等等。
面對這類對于網絡效率的要求較高的應用場景,集中式云的計算、存儲擴容能力逐漸產生瓶頸,迫切要求云廠商和企業(yè)將計算能力下沉到網絡邊緣側,實現中心節(jié)點與邊緣節(jié)點的職能分化,構建“分布式邊緣云”,并進一步對中心節(jié)點、邊緣節(jié)點進行深度協同以實現成本優(yōu)化。
1.5.1 分布式邊緣云的定義及價值
《Gartner2020年規(guī)劃指南》指出,分布式云是這一年的十大戰(zhàn)略趨勢之一,而Gartner對分布式云的定義是:將公有云服務分布到不同的物理位置,而服務的運行、治理、更新和演化則由最初的公有云提供商負責的一種云服務架構。
這里我們需要明確“分布式云”與“邊緣計算”的差異。首先,并非所有的邊緣計算系統(tǒng)都需要以云架構作為其中心節(jié)點、邊緣節(jié)點的底層架構,即邊緣計算系統(tǒng)不一定是基于分布式邊緣云的。但是反過來講,所有的分布式邊緣云的最終目的都是為了讓邊緣計算系統(tǒng)走進云計算體系,即所有分布式邊緣云都是邊緣計算系統(tǒng)。
在后文中,為了強調分布式云的邊緣計算屬性,同時讓大家更容易理解這一概念,我們將其稱之為“分布式邊緣云”,同時將邊緣計算系統(tǒng)中擔負中心節(jié)點計算能力的云稱為“中心云”,將擔負邊緣節(jié)點計算能力的云稱為“邊緣云”。
邊緣云根據位置的不同,又可分為近場邊緣云和現場邊緣云兩大類,近場邊緣云強調高可靠性的基礎云服務能力,多采用OpenStack架構,而現場邊緣云強調超強的彈性、快速的啟停速度和高并行計算能力,多采用Docker和Kubernetes架構。
華為云IEF邊緣計算解決方案就是一個典型的基于Docker和Kubernetes的分布式邊緣云,如下圖所示。
總體來看,分布式邊緣云產生和發(fā)展的驅動因素在于網絡響應效率和擴容成本兩方面:
1)網絡響應效率:在分布式邊緣云架構中,采集到的數據可以首先在邊緣節(jié)點進行初步的處理再上傳到中心節(jié)點進行AI模型訓練,訓練完畢的模型被下放到邊緣節(jié)點,基于持續(xù)產生的數據進行模型的推理和優(yōu)化,從而避免了因大量數據的網絡傳輸和集中式計算存儲帶來的網絡性能瓶頸,提升了網絡響應效率。
2)擴容成本:計算、存儲能力下沉到邊緣之后,中心云的資源擴容壓力以及帶來的成本被大大減輕。
1.5.2 分布式邊緣云的統(tǒng)一管理與邊云協同
分布式邊緣云實現網絡響應效率、擴容成本兩方面優(yōu)勢的根本原因在于統(tǒng)一管理與邊云協同,即通過中心云的統(tǒng)一遠程運維管理平臺,實現中心云、邊緣云之間的行為協調,充分將計算、存儲能力下沉到邊緣,同時不影響中心云自身的正常工作。
邊云協同能力主要包括數據協同、應用協同兩個層面,如下圖所示。
1)數據協同:它解決的問題本質上是數據密集型業(yè)務如何在中心云和邊緣云之間進行合理負載分配,進一步可以分為數據處理協同和AI能力協同兩個層次。
在數據處理協同過程中,首先由中心云負責制定數據上傳策略并下發(fā)到邊緣云,然后由邊緣云負責數據采集,并基于中心云制定的策略進行預處理后上傳到中心云,最后由中心云進行數據的集中存儲和進一步挖掘分析。
AI能力協同過程本質上是數據處理協同過程的升級,區(qū)別在于其工作流程需要由邊緣云發(fā)起,由邊緣云將供AI模型訓練的數據上傳到中心云,然后由中心云基于數據進行AI模型訓練并推送到邊緣云,最后由邊緣云基于AI模型和終端輸入進行模型推理,并將推理結果返回中心云。
2)應用協同:它解決的問題本質上是非數據密集型的常規(guī)性業(yè)務如何在中心云和邊緣云之間進行合理負載分配,進一步可以分為應用交付協同和應用編排協同兩個層次。
為了實現這兩類邊云協同能力,一方面需要邊緣云具備一定的自治能力,在網絡出現故障的情況下仍然維持正常工作狀態(tài),不完全依賴于中心云的運維管理能力,另一方面需要中心云具備對邊緣云集群的統(tǒng)一管理能力,尤其是對于異構邊緣云的納管,并進一步對邊緣云進行統(tǒng)一的應用交付生命周期管理和服務編排管理,如下圖所示。
目前,分布式邊緣云的技術成熟度尚處于早期,且應用價值尚未被充分挖掘。從長期來看,分布式邊緣云的主要價值在于充分彌合了萬物互聯的趨勢下,集中式云計算的有限計算能力與現實世界中無限的數據維度之間的鴻溝。
2.混合云的實踐路徑選擇與面臨挑戰(zhàn)
當企業(yè)選擇實行混合云戰(zhàn)略,需要選擇良好的實踐路徑。按照主導廠商類型的不同來區(qū)分,混合云方案存在兩種實踐路徑:
從公有云向下延伸,提供技術同構的專有云產品,從而形成混合云解決方案;
從私有云向上延伸,將公有云進行集成,從而形成混合云解決方案。
本章將論述這兩種實踐路徑的產生邏輯,以及針對特定企業(yè)和場景的選擇建議。
2.1從公有云到混合云:滿足基礎架構一致性需求
云計算的最早商業(yè)化形式是公有云,其早期的實踐者和推動者是亞馬遜、阿里巴巴等互聯網巨頭,后來其他互聯網公司、傳統(tǒng)ICT廠商和創(chuàng)業(yè)型公司也持續(xù)加入。同時,為了滿足企業(yè)級客戶的專屬資源池的需求,這些公有云廠商陸續(xù)推出了專有云、私有云方案,從而形成了全棧式的混合云方案。
按照廠商背景來看,提供全棧式混合云解決方案的公有云廠商有三類:第一類是互聯網大廠旗下的公有云廠商,第二類是傳統(tǒng)ICT廠商旗下的公有云廠商,第三類是中立性的公有云廠商。
從共同點來看,這些公有云廠商的混合云發(fā)展路徑都是最終實現公有云架構與專有云&私有云架構的完全統(tǒng)一,但是不同點在于它們公有云誕生的目的不同使得其特性不同,由此造成的專有云&私有云、混合云的適用場景也有所差異,如下圖所示。
2.1.1 互聯網大廠公有云+專有云的混合云方案
阿里云、騰訊云、百度智能云、京東智聯云等互聯網大廠旗下的公有云,其誕生初衷都是為了通過公有云服務更好地支撐自己集團內部的業(yè)務,實現自身IT能力的敏捷化轉型,同時降低對于專業(yè)服務器、存儲和網絡設備廠商的依賴。
這類廠商的公有云架構大部分都是基于高度自主研發(fā)的分布式架構,為了應對極高并發(fā)的互聯網業(yè)務,普遍需要較大數量的管理節(jié)點以保證服務的穩(wěn)定性。
這類廠商早期的公有云客戶一般以互聯網企業(yè)和中小企業(yè),逐步轉向服務大型政企客戶時,提出了“專有云”的概念,即通過對公有云架構進行適當的縮減,形成一套規(guī)模相對較小、能夠適應本地化部署的專有云方案,典型如阿里云+Apsara Stack,騰訊云+TCE、京東智聯云+JD Cloud Stack、百度智能云+ABC Stack、金山云+Galaxy等。
由于專有云與公有云采取一致性的基礎架構,IaaS、PaaS資源具備一致性,因此一般能夠支持應用在公有云、專有云之間進行低成本快速遷移,同時保證了公有云、專有云實現功能和特性的同步進化,防止了碎片化的專有云版本出現。
但是由于互聯網大廠公有云的基礎架構特性,其專有云對于物理節(jié)點數量下限要求較高,一般都要求至少提供幾十到近百的物理節(jié)點,更加適合于業(yè)務規(guī)模較大、預算充足的腰部以上企業(yè)。
京東智聯云構建多云資源一致的混合云方案
京東智聯云(JD Cloud & AI)是京東集團旗下的智能技術提供商,依托京東集團在人工智能、大數據、云計算、物聯網等方面的業(yè)務實踐和技術積淀,打造服務于數字企業(yè)、數字政府的多維場景解決方案。
京東智聯云提供的專有云服務包括專有云(Stack)、敏捷專有云(Swift)、敏捷專有云超融合版(Swift HCI)三個不同版本,以及能夠實現多云納管的混合云平臺(Mesh)。
京東智聯云在混合云方案的優(yōu)勢體現在以下兩方面。
首先,京東智聯云的公有云平臺(Public Cloud)和專有云平臺(Stack)基礎架構一致,可搭建同構混合云平臺實現在功能、資源方面的同步更新和一致性。
其次,針對異構多云的資源,京東智聯云借助混合云平臺(Mesh)也可構建統(tǒng)一納管,資源一致的混合云解決方案,它具備以下幾方面能力:
1)全方位支持:提供從網絡層的拉通,到跨云資源管理、業(yè)務調度、服務組件管理、容器云平臺、多云服務平臺、資源監(jiān)控以及成本控制等全方位的混合云場景支持能力;
2)一站式管理:兼容多種異構云平臺,整合私有云、公有云等多種底層資源,實現一站式資源管理控制、對資源的跨平臺融合編排及多租戶訪問;
3)解除廠商綁定:具備行業(yè)核心業(yè)務系統(tǒng)架構的最佳實踐,可無縫連接異構硬件與上層業(yè)務,解除廠商綁定,使得企業(yè)聚焦于業(yè)務。
4)AI賦能:深度集成AI能力,實現極簡和智能的資源調度和穩(wěn)態(tài)與敏態(tài)業(yè)務的動態(tài)平衡,資源利用率平均可提升30%。
混合云平臺(Mesh)從以下兩方面實現多云資源的一致性:
1)跨云的云原生技術中臺:基于容器化、微服務基礎技術,提供涵蓋應用、部署和治理的技術中臺,兼容傳統(tǒng)與創(chuàng)新應用的一致性管理和平滑遷移,實現多云環(huán)境下敏捷的持續(xù)集成、發(fā)布、運營。通過云原生技術承載AI能力,實現云的數字化、智能化,更加貼合企業(yè)業(yè)務,提升業(yè)務創(chuàng)新迭代速度。
2)跨云遷移:支持以不停服全量和增量遷移的方式遷移不同環(huán)境及不同類型的數據庫,通過VPN、專線等網絡環(huán)境接入京東智聯云的RDS數據庫、自建數據庫等,支持國內外主流公有云、私有云、虛擬機、X86物理服務器的遷移。
京東智聯云的混合云解決方案應用于某知名車企的汽車產業(yè)云,該車企集團為滿足集團轉型和信息系統(tǒng)及應用上云的需求,實現混合云架構的藍圖,需要采用成熟穩(wěn)定的商業(yè)化云平臺替換現有的開源架構的云平臺。
為此,京東智聯云為該車企建設了集成公有云(Public Cloud)、專有云(Stack)、混合云平臺(Mesh)的混合云解決方案,方案具備以下特點:
1)多云整合:構建了混合云統(tǒng)一服務平臺,統(tǒng)一納管現有的OpenStack平臺。
2)硬件利舊:通過專有云(Stack)將現有各分公司的物理機云化,并通過混合云平臺(Mesh)直接納管,提高了資源利用率。
3)遷移擴容:實現全量應用跨云一鍵式平滑遷移,并結合DNS解析分流,實現跨云負載擴容。
4)跨云災備:該混合云平臺具備災備能力,將京東智聯云公有云作為災備中心,構建了穩(wěn)定可靠的同城跨云災備。
混合云方案實施后,該車企獲得了以下實施效果:
1) 資源整合優(yōu)化:實現集團的混合IT基礎架構資源整合優(yōu)化,統(tǒng)一平臺靈活調配,大幅提升資源的利用率和運維運營效率;
2) 靈活擴容:業(yè)務系統(tǒng)實現全局調配,合理部署,應用負載能力成倍提升;
3) 跨云災備:充分利用公有云的無限量存儲,實現核心業(yè)務數據多副本容災備份,提升了服務的穩(wěn)定性和可靠性;
4)戰(zhàn)略落地:加強集團信息化、數字化建設,推動集團化2.0戰(zhàn)略落地,打造自主知識產權的服務和產品,為集團“兩個轉型”和四化發(fā)展提供可靠支撐。
整體來看,互聯網大廠“公有云+同構專有云”的混合云方案,適合業(yè)務規(guī)模較大、預算較為充足、服務商生態(tài)較為完善的企業(yè),公有云、專有云間的基礎架構一致性有助于其在漫長的IT建設周期內保證技術能力的持續(xù)同步進化。
2.1.2 傳統(tǒng)ICT廠商與中立云廠商公有云+私有云的混合云方案
與互聯網大廠旗下的公有云不同,華為云等傳統(tǒng)ICT廠商旗下的公有云,以及UCloud、青云等中立性公有云廠商,其公有云的定位更加單純,主要用于對外提供商業(yè)化的公有云服務,同時期望能夠將公有云的架構無縫地移植到私有云之中。
因此,這類公有云廠商的基礎架構相對較為輕量化,從而保證了其私有云產品既能具備與開源架構一樣的低節(jié)點數量要求,同時又能保證私有云的基礎架構與公有云之間的一致性,典型如華為云+華為云Stack、UCloud+UCloud Stack、青云+青云私有云。
整體來看,傳統(tǒng)ICT廠商或中立云廠商的“公有云+同構私有云”的混合云方案能夠更加靈活有效地支撐中小規(guī)模業(yè)務場景,同時保證公有云和私有云的基礎架構一致性,因此更加適合于當前業(yè)務規(guī)模一般,但未來可能具備一定成長性,并期望長期保持技術創(chuàng)新和迭代能力的企業(yè)。
2.2從私有云到混合云:滿足企業(yè)差異化需求
相比于從公有云到混合云的實踐路徑,從私有云到混合云的實踐路徑更為復雜,這是因為私有云廠商從一開始就需要考慮來自企業(yè)客戶的差異化需求,這種差異性體現在兩個方面:
企業(yè)技術和運維能力的差異性:科技創(chuàng)新型企業(yè)和頭部企業(yè)常常更加追求私有云的定制化、與企業(yè)流程的匹配性,技術和運維能力不足的大部分傳統(tǒng)型企業(yè)更加追求私有云的易管理性;
企業(yè)數據中心規(guī)模的差異性:超大規(guī)模企業(yè)具備豐富的數據中心資源,更加追求IT架構的成熟性、穩(wěn)定性,中大規(guī)模企業(yè)數據中心資源相對有限,更加追求IT投入的高性價比。
基于這些差異化需求,私有云架構出現了開源技術和閉源技術的差異,以及分離式架構與超融合架構的差異。
2.2.1 分離式架構的私有云
早期的私有云采取分離式架構,即計算、存儲能力通過不同的設備或服務器集群來提供。按照技術架構的不同,它又分為開源和閉源兩類。
開源分離式架構私有云:OpenStack是當下最為流行的開源云計算管理平臺,具備較強的定制化能力,因此通過OpenStack對接KVM、VMware vSphere、XenServer等計算虛擬化平臺,以及Ceph等開源分布式存儲平臺,在過去一段時間曾是個性化需求較多的大中型企業(yè)客戶構建私有云的一種流行方式。
但是由于OpenStack架構的復雜性問題,近些年在產品化、標準化、商用化等方面開始面臨大量痛點,因此開源云廠商基于OpenStack進行閉源深度自主研發(fā),從而提高產品的標準化程度,實現產品無縫升級已經成為大勢所趨。
閉源分離式架構私有云:VMWare等成熟廠商在商用虛擬化技術方面一直占據主導地位,其閉源分離式架構私有云主體由VMWare vSphere對接SAN商用存儲設備構建而成,而云管的部分可以選擇VMware vRealize Automation或獨立的云管理軟件(CMP),前者僅支持VMWare自身產品,后者更加開放。
閉源私有云的優(yōu)勢在于其長期實踐經驗和產品迭代帶來的高度穩(wěn)定性,但由于其核心技術往往由國外虛擬化廠商、商用存儲設備廠商所控制,會使得企業(yè)面臨自主可控性差、廠商綁定等因素的困擾。此外,商用存儲擴展性不足也成為困擾企業(yè)的一大痛點。
總體來看,無論是開源技術還是閉源技術,計算、存儲分離部署模式由于采用了單獨的存儲集群,在面向具備龐大數據中心資源的超大規(guī)??蛻魰r存在以下三點優(yōu)勢:
能夠實現存儲性能的大規(guī)模獨立擴展,保證了以往計算和存儲分離的IT管理模式的可延續(xù)性。
充分兼容異構化的計算資源,支持裸機等非虛擬化的計算平臺。
提供完全獨立的存儲空間,不至于因為計算工作負載的提升而使得存儲性能出現瓶頸。
但是,分離式私有云架構同樣存在兩點劣勢:
需要采用單獨的存儲集群,對數據中心規(guī)模一般的中等規(guī)模企業(yè)來說性價比偏低,如果采用商用存儲設備,成本就更加高昂。
計算、存儲、網絡拓撲較為復雜,對部分缺乏運維能力的企業(yè)和分支機構造成大量運維管理難題。
2.2.2 超融合架構的私有云
當企業(yè)追求私有云的易于管理、高性價比等特性時,計算、存儲融合部署的超融合架構成為最合適選擇,目前這種方案已經開始在中型乃至大型客戶中出現。
Gartner認為,超融合架構(HCI)是一種以軟件為中心的體系結構,將計算、存儲、網絡和虛擬化資源(以及可能的其他技術)緊密集成在單一的供應商提供的一臺硬件設備中。相比于分離式架構的私有云,超融合架構的私有云真正實現了完全的軟件定義、完全的虛擬化、完全的分布式。
與分離式架構私有云類似,超融合架構私有云同樣存在開源、商用兩類生態(tài)。
開源超融合架構私有云:基于Openstack、KVM、Ceph等開源產品整合的超融合方案,優(yōu)勢是可以快速從社區(qū)獲得最新的功能,但同時存在著諸多問題,比如:Openstack架構復雜、大量模塊在超融合中并不需要,商用程度差,且計算資源要求高;基于開源的Ceph模塊和代碼復雜,服務商對產品核心問題無法有效支持,且Ceph對計算資源消耗高較高,IO密集型場景性能也表現欠佳;一般無法有效支持VMWare等商用虛擬化平臺。
閉源超融合架構私有云:該種模式最典型的廠商案例是VMWare的vSphere+vSAN+vCenter超融合架構配合vRealize Automation,以及國內超融合廠商SmartX的SMTX OS超融合架構,并可對接國內多家成熟的商用多云管理平臺實現計算存儲的資源池化、分布式化、軟件定義化和自服務化。
如上圖所示,SmartX的超融合架構除了包括自有的虛擬機服務和分布式塊存儲,還可兼容VMWare、Citrix等其他廠商的虛擬機服務。據了解,SmartX結合云管理形成的超融合私有云已經在大型國有銀行和大型券商等客戶形成實際案例。
相比于分離式架構私有云,超融合架構私有云的有兩點明顯優(yōu)勢:
易于管理:超融合幫助私有云非常簡單地完成基礎架構的虛擬化,包括計算、存儲、網絡的虛擬化,無須為不同的設備考慮虛擬化的方案,降低方案的復雜性;支持集成VMware vSphere和KVM等主流虛擬化軟件,用戶端幾乎沒有學習成本。
高性價比:超融合技術實現了完全的軟件定義架構,支持普通商用服務器硬件以及使用以太網進行傳輸,避免使用價格高昂的專用硬件,有效降低私有云中的硬件采購成本;超融合技術的特性是在每個服務器節(jié)點都能同時提供計算與存儲能力,架構精簡,資源占用更低。
2.2.3 從私有云出發(fā)的混合云生態(tài)
兩類私有云部署架構(分離式/超融合)、兩類私有云技術生態(tài)(開源/閉源),與公有云一同構成的混合云生態(tài)體系如下圖所示。
總體來看,不同混合云生態(tài)在定制化能力、易管理性、成熟穩(wěn)定性、性價比等四方面的對比如下。
2.3 混合云實踐過程對企業(yè)的多重挑戰(zhàn)
無論從公有云走向混合云,還是從私有云走向混合云,對于企業(yè)來說,都是一個解決方案越來越復雜、面臨的技術挑戰(zhàn)越來越多的過程。
據中國信通院數據顯示,缺少適合的解決方案,以及現有技術不夠成熟是阻礙企業(yè)應用混合云的兩大最主要因素,網絡連接不夠穩(wěn)定、基礎功能不完善是企業(yè)在混合云應用過程中面臨的兩大最主要挑戰(zhàn)。
但是,缺乏合適的解決方案與技術的具體原因可能分布在混合云與分布式邊緣云的各個層次中。為了分析這些原因,我們必須明確混合云與分布式邊緣云建設的混合云和分布式邊緣云的基礎架構圖來進行分析,如下圖所示。
1)混合云基礎設施平臺:它是混合云、分布式邊緣云建設的基礎環(huán)節(jié),主要包括公有云/私有云、中心云/邊緣云等多種不同基礎架構的云形態(tài),以及其中不同的計算、存儲、網絡架構,還有跨云連接網絡、多云管理平臺(CMP)等多云間的融合機制。
2)云原生技術中臺:它是企業(yè)開發(fā)云原生應用或遷移、改造傳統(tǒng)應用,最終實現業(yè)務創(chuàng)新的核心環(huán)節(jié),主要包括aPaaS(DevOps、微服務治理、中間件服務)、iPaaS、Database PaaS(數據庫PaaS)、Business Analytics PaaS(業(yè)務分析PaaS)、ITOM平臺(CMP、APM工具),共同服務于云原生應用交付生命周期。其中,aPaaS(應用PaaS)是云原生應用交付的主要平臺。
在本報告的第三章、第四章中,我們將詳細分析這兩個環(huán)節(jié)中的挑戰(zhàn)構成,如下圖所示。
此外,為了應對這些挑戰(zhàn),企業(yè)還需要選擇合適的廠商來提供混合云解決方案,因此本報告還將提供一些典型廠商的最佳實踐案例。在這些挑戰(zhàn)環(huán)節(jié)中提供解決方案的典型廠商如下圖所示。
3.混合云基礎設施平臺建設
云計算基礎設施層的構成形態(tài),直接決定了云計算的架構和形態(tài)。企業(yè)在對混合云與分布式邊緣云的落地實踐中,首先要面臨基礎設施平臺建設的挑戰(zhàn)。
3.1 混合云基礎設施的三個應用階段
根據公有云、私有云之間在基礎設施層面的協同深度,我們可以將混合云基礎設施的應用階段分為三個層次:多云網絡互通、多云管理與協同、多云資源一致。
1)多云網絡互通:在多云之間實現廣域網的連接,從而實現信息的跨云傳輸;在這一階段,企業(yè)面臨的挑戰(zhàn)主要是混合云對跨云連接網絡的穩(wěn)定性、配置敏捷性、成本優(yōu)化能力等方面具有較高要求;
2)多云管理統(tǒng)一:通過多云統(tǒng)一資源管理,實現工作任務在多個計算存儲資源池的靈活分配,從而實現多云業(yè)務協同和成本優(yōu)化;在這一階段,企業(yè)面臨的主要挑戰(zhàn)在于多云環(huán)境承載業(yè)務形態(tài)多樣、資源類型多樣、權限分配復雜,對企業(yè)的IT統(tǒng)一管理帶來大量痛點;
3)多云資源一致:通過在多云之間保持IaaS、PaaS資源的相對一致性,從而允許應用和資源在多云之間自由遷移或漂移,同時盡可能減少過程中的人工干預;在這一階段,企業(yè)面臨的主要挑戰(zhàn)在于如何克服多云基礎架構的異構性。
本章將對以上三個階段企業(yè)面臨的挑戰(zhàn)及對策進行詳細闡述和分析,同時提供相關類型廠商在企業(yè)中的實踐案例。
3.2多云網絡互通
企業(yè)組網是企業(yè)IT基礎設施建設的核心訴求之一,它保證了企業(yè)分布在不同地點、不同環(huán)境中的計算資源能夠實現在一張局域網中自由互訪,并滿足企業(yè)內部的網絡管控需求。
在混合云架構中,公有云、私有云計算與存儲設施往往分布在不同地域和數據中心,需要通過廣域網進行連接,從而實現企業(yè)組網。
在分布式邊緣云架構中,從骨干網、城域網到接入網,均需要通過廣域網進行連接,從而構成包括眾多邊緣云的邊緣計算網絡。
無論是混合云還是分布式邊緣云,它們的廣域網連接質量對其應用效果乃至成敗至關重要。
現階段,VPN、專線和SD-WAN是企業(yè)采用最多的三種網絡連接技術,其中MPLS VPN是最為普遍的VPN技術類型,它們分別具備不同的優(yōu)勢和適用場景,其對比如下圖所示。
隨著企業(yè)對云計算應用程度的加深,以及混合云、邊緣云的出現,專線和MPLS VPN面臨著三個方面的嚴峻的挑戰(zhàn)。
第一,隨著業(yè)務工作負載量的增加,專線、MPLS VPN的帶寬也需要不斷增加,而高帶寬的專線和VPN的租用費用較為昂貴,給企業(yè)造成了越來越高的網絡運維成本;
第二,隨著分布式邊緣云架構的發(fā)展,部分偏遠或小型分支機構的規(guī)模不足以支撐專線和MPLS高昂的成本;
第三,在云計算環(huán)境下,企業(yè)業(yè)務創(chuàng)新與迭代速度不斷加快,對企業(yè)的網絡響應能力,對增加帶寬、增加線路等網絡配置的敏捷性要求都越來越高,而專線、MPLS的配置靈活性相對不足。
為了解決專線和MPLS VPN面臨的困境,SD-WAN(軟件定義廣域網)這一新興網絡技術在近些年崛起,其主要技術在于實現網絡控制與數據轉發(fā)功能的分離,以及傳統(tǒng)網絡功能的虛擬化,同時基于對網絡環(huán)境實時狀態(tài)的感知來控制虛擬化的網絡功能,從而為每個數據包選擇最佳路徑,保障了分發(fā)的高效性和通訊的實時性。
SD-WAN助力多點網絡互聯,觀脈科技NaaS網絡服務為企業(yè)網絡降本增效
觀脈科技是國內領先的基于SD-WAN技術的NaaS服務商,擁有覆蓋全球的虛擬私有網絡,是國內較早實現對多個公有云的網絡全自動化接入的公司之一,利用自身的SD-WAN網絡對網絡資源進行統(tǒng)一的優(yōu)化和管理,服務包括中國移動,網易,獵豹移動、VIPKID 、墨跡天氣,傲世堂等游戲,教育,互聯網,運營商類客戶。
觀脈科技推出的AllWAN是一款NaaS網絡服務產品,融合專線網絡的穩(wěn)定性和互聯網的經濟性,具備可編程的API和極強的擴展性,可解決實時傳輸中的瓶頸,能夠在全球范圍跨地域和網絡使用,能夠實現多公有云之間、公有云與數據中心/私有云之間,以及多數據中心之間的網絡互聯。
觀脈科技某客戶是一家全球化企業(yè),在國內采用A云、B云、C云來提供公有云服務,在國外采用AWS來提供公有云服務。此外,該企業(yè)還需要在廣州A云和北京A云部署兩臺堡壘機,并對部署在全球的50余個VPC、超過5千臺云主機進行管理。
為了提升業(yè)務響應的速度,實現多個公有云之間的業(yè)務訪問,針對業(yè)務流量進行統(tǒng)一管理,并基于網絡流量提供及時的告警信息,該企業(yè)采用觀脈AllWAN實現多云互聯。
方案實施后,該企業(yè)的網絡開通速度、靈活性、使用體驗大大改善,能夠在一天內完成不同云之間的業(yè)務對接,可以根據使用情況靈活調整帶寬,可以根據需求開通網絡用量統(tǒng)計等功能,能夠基于業(yè)務情況進行網絡測試,可以實時查看網絡使用情況。
觀脈科技另一家客戶為國內著名的人工智能公司,該公司網絡全部使用互聯網,希望優(yōu)化現有辦公區(qū)訪問數據中心的網絡質量,提升整體網絡的健壯性,并為Salesforce等訪問速度慢的應用進行加速。
為此,觀脈基于AllWAN網絡為客戶提供混合云聯網解決方案,將該企業(yè)的數據中心、云和辦公室通過專線或互聯網的方式就近接入到觀脈科技的AllWAN網絡,還增加了A、B云作為業(yè)務數據的備份節(jié)點,與現有數據中心組成混合云架構。
方案實施后,該企業(yè)辦公區(qū)之間網絡訪問質量比之前提升50%,Salesforce等軟件的訪問速度明顯提升,網絡穩(wěn)定性超過99.99%,網絡安全性獲得提升,實現更加簡化的可視化運維。
總體來看,SD-WAN相比于專線和MPLS VPN的優(yōu)勢體現在成本和效率兩方面:
擴容成本:SD-WAN可完全基于互聯網鏈路,無需依賴任何專線線路;可有效提升網絡鏈路的利用率,無需維持空閑鏈路。
擴容效率:SD-WAN通過智能路由實現流量高效轉發(fā),傳輸時延相比于MPLS VPN大幅降低;通過Portal即可進行網絡部署和變更,所需時間大幅縮短,技術門檻也大幅度降低。
近些年,SD-WAN的安全性技術也不斷完善,支持通過IPsec、TLS、DTLS等多種加密技術來實現數據加密。但現階段,許多企業(yè)出于對安全性的顧慮,會采用MPLS VPN與SD-WAN的混合架構,使用MPLS來承擔核心業(yè)務流量,而使用SD-WAN來承擔互聯網業(yè)務流量。
綜上所述,在混合云與邊緣云時代,SD-WAN能夠有效提升企業(yè)網絡管理效能,從而進一步提升企業(yè)競爭力。
3.3 多云管理統(tǒng)一
盡管成本優(yōu)化是推動混合云、分布式云的主要因素,但是成本優(yōu)化方案的落地實施卻并不容易。公有云、私有云、中心云、邊緣云等不同的云,其成本最優(yōu)的業(yè)務類型不同,同時這些業(yè)務的工作負載同樣是在動態(tài)變化中的。
這種復雜性帶來的管理困難,使得企業(yè)亟需通過統(tǒng)一的多云資源管理平臺,對多云平臺的資源使用、任務調度進行統(tǒng)一管理,最終實現多云成本優(yōu)化。
混合云成本優(yōu)化分為兩個部分:
1)在公有云、私有云之間進行工作負載分配,以盡可能降低因擴容帶來的額外成本;
2)對多個公有云賬號所擁有的資源進行統(tǒng)一管理與分配,以盡可能降低因部門或團隊獨占資源帶來的資源利用率降低。
3.3.1 公有云、私有云間成本優(yōu)化
混合云產生與發(fā)展的主要驅動因素之一是成本與效率的平衡,即讓私有云和公有云發(fā)揮各自的優(yōu)勢,實現最大的投入產出比。在這里,我們將投入產出比定義為:在一定時間內,混合云承載的總工作負載量與軟硬件成本投入的比值。
在混合云實踐中,企業(yè)面臨成本優(yōu)化的挑戰(zhàn)主要來自敏態(tài)業(yè)務,這是由穩(wěn)態(tài)和敏態(tài)業(yè)務的特性決定的。
穩(wěn)態(tài)業(yè)務:其負載峰值與負載低谷相比,差距一般不超過數倍,因此選擇私有云來完全承載其工作負載,其計算資源利用率仍然相對可接受。同時,由于私有云成本主要集中在前期的建設投入,在更長時間尺度上的成本相比于公有云更低。因此,大部分穩(wěn)態(tài)業(yè)務都可以通過私有云來完全承載,不存在太多跨云優(yōu)化的空間。
敏態(tài)業(yè)務:其負載峰值往往高達負載低谷的數十倍到上百倍,如果選擇私有云來完全承載其工作負載,在低谷期會產生嚴重資源閑置,難以通過后期的低成本來抵消前期的高建設成本。這種情況下,通過公有云來承載其工作負載高峰變得十分必要。
但是,在敏態(tài)業(yè)務的生命周期中,并非采用公有云的比例越高越好,這是因為在整個敏態(tài)業(yè)務的生命周期內,盡管其工作負載的總體波動性較大,但是仍然可能在某些時間段內展現出一定程度的穩(wěn)態(tài)特性。
比如,下面的曲線圖就表示了某敏態(tài)業(yè)務在生命周期內經歷的工作負載變化情況。
增長期:當業(yè)務處于增長期,負載的波動幅度較大且不斷增長,其下一時間段的波動幅度,以及生命周期長度往往不可預料,需要云平臺具備彈性的擴容縮容能力。因此,選擇公有云來完全承載其負載是投入產出比最優(yōu)的方案。
穩(wěn)定期:當業(yè)務進入到穩(wěn)定期后,由于用戶群體、數據源的相對穩(wěn)定,其負載波動特性會變得比較容易預測,低谷期的工作負載也會相對穩(wěn)定。在這個階段,企業(yè)往往對于業(yè)務的生命周期長度有相對樂觀的預計。因此在穩(wěn)定期內,企業(yè)逐步采用私有云來承載一部分固定存在的工作負載,是相對成本更優(yōu)的方案。
衰退期:當業(yè)務進入衰退期,工作負載在波動中呈現下滑趨勢,但由于在穩(wěn)定期投入了大量支撐私有云的硬件成本,而且這部分硬件成本顯然無法回收,所以整體的投入產出比也呈現下滑趨勢。在這種情況下,繼續(xù)盡可能地利用現有私有云資源,同時不斷回收公有云資源,更加有利于投入產出比的維持和優(yōu)化。
當然,上圖僅僅是企業(yè)在一個較粗的時間顆粒度上可能采取的混合云成本優(yōu)化方案。在實際生產環(huán)境中,優(yōu)化粒度可以更加精細,在每個波動周期內快速啟停公有云資源。
此外,在企業(yè)實際生產環(huán)境中,本地資源池的情況往往更加復雜,不僅會有私有云,還可能有物理機、VMware虛擬機等異構資源,它們在混合云成本優(yōu)化過程中也可以作為私有云來對待。
面對這樣的優(yōu)化背景,僅僅依靠割裂在不同資源池內的運維管理界面難以滿足需求,企業(yè)運維人員亟需有能夠納管多種資源、提供多維度運維數據的管理平臺,實現統(tǒng)一、高效的成本優(yōu)化,這就是云管理平臺(CMP)。
作為能夠實現多云資源納管的運維管理工具,云管理平臺(CMP)能夠納管包括VMware虛擬機、裸金屬機器、私有云、公有云、存儲設備、SDN網絡等多種資源,同時提供運維監(jiān)控、統(tǒng)計報表以及相應的可視化功能。
基于CMP的這一系列功能特性,企業(yè)能夠實現對公有云、私有云各自的資源使用情況的分析,從而做出相應的優(yōu)化策略:
1)如果企業(yè)通過CMP監(jiān)控到公有云中有長期存在的固定工作負載量,企業(yè)可將其逐步遷移到私有云、VMWare上。這時如果私有云、VMWare的使用率已經很高,難以擴容,則考慮擴大規(guī)模來承載這部分業(yè)務。
2)對于私有云、VMWare、物理機中存在的負載波動性較大、出現了明顯的性能瓶頸的業(yè)務,企業(yè)可將這部分超出正常承載能力的工作負載轉移到公有云。
3.3.2 多公有云間的成本優(yōu)化
多公有云的成本優(yōu)化是建立在公有云、私有云間成本優(yōu)化的基礎上,進一步實現混合云成本優(yōu)化的另一個階段。
造成多公有云的原因是復雜的,其中典型的原因包括實現多云災備、減少廠商綁定、希望利用不同云的特有能力等。此外,出于內部組織架構的原因,企業(yè)也有可能創(chuàng)立多個公有云賬號來歸多個部門管理和使用。
無論是單一公有云廠商的多個賬號,還是多個公有云廠商的多個賬號,由于其資源之間的割裂性,都可能會帶來資源閑置,從而造成成本升高。資源閑置的典型原因包括兩類:
1)不同部門擁有不同的賬號,使得這部分公有云資源被獨占,在不使用的情況下無法被分配給其他部門來使用,也無法被統(tǒng)一釋放,造成資源閑置和成本浪費;
2)某些公有云的資源被釋放后,它所占用的資源未被同時釋放,比如服務器被釋放后,占用的存儲、彈性IP可能未被釋放,在多公有云賬號的情況下,這樣的情況更加突出,造成資源閑置和成本浪費。
基于CMP提供的多云納管、權限管理和運維監(jiān)控能力,企業(yè)能夠采取以下策略來解決資源閑置問題:
1)針對第一類情況,企業(yè)可將公有云賬號的權限收歸企業(yè)統(tǒng)一管理,基于CMP的多云納管能力,實現多個公有云賬號的打通,并基于CMP的權限管理能力,為不同部門創(chuàng)建有不同操作權限的業(yè)務組,同時提供資源統(tǒng)一申請流程,對資源進行統(tǒng)一分配和回收;
2)針對特定資源被釋放后,被其占用的其他資源未被同時釋放,最后出現閑置的問題,企業(yè)可基于CMP的運維監(jiān)控能力實現資源利用率監(jiān)控和回收。
基于SmartOps云管理平臺,安暢網絡為某大型集裝箱制造集團實現混合云成本優(yōu)化
安暢網絡是中國市場領先的云托管服務商(Cloud MSP),面向企業(yè)客戶提供云原生技術服務和數字化解決方案,主要服務之一是基于SmartOps云管理平臺為企業(yè)客戶提供訂閱式、托管式的運維服務,幫助企業(yè)實現多云環(huán)境下的成本優(yōu)化。
安暢網絡某客戶是某大型集裝箱制造集團,在上市準備階段,該企業(yè)需要對集團組織進行拆分,但是卻面臨著多重挑戰(zhàn):
1)缺乏專業(yè)運維工具:該企業(yè)作為一家傳統(tǒng)大型制造業(yè)集團企業(yè),IT系統(tǒng)龐大而繁雜,系統(tǒng)大量部署在物理/虛擬化設備上,也有各分公司公共云環(huán)境,而拆分出的企業(yè)IT團隊面對這種復雜環(huán)境,缺乏專業(yè)的云環(huán)境運維平臺來進行運維管理,并對分公司的資源使用權限進行管控;
2)成本優(yōu)化難題:復雜的IT和多云環(huán)境,要求企業(yè)有效把控整體IT成本,控制多云賬戶的成本消耗,整合云資源;
3)上云難題:設備業(yè)務系統(tǒng)面臨快速遷移上云難題,同時面臨安全合規(guī)、備份容災、多地域網絡互聯的復雜需求;
4)人力成本難題:現有IT團隊的人力難以支撐起業(yè)務系統(tǒng)的7x24運維管理。
因此,該企業(yè)迫切的需要一種全方位的IT服務管理手段和資源管理平臺來治理目前復雜的環(huán)境,并利用云計算優(yōu)勢整合資源降低成本。
項目啟動后,安暢網絡成立專門的遷移運維團隊,做了如下工作:
1)實現資源統(tǒng)一納管:逐一摸清客戶總部、各分公司的資源環(huán)境情況,將客戶原VMware虛擬化環(huán)境和物理服務器加入SmartOps平臺進行統(tǒng)一監(jiān)控、統(tǒng)一生命周期管理(開/關/新建/銷毀/配置調整),同時將各項目各分公司已存在云賬號進行導入,將客戶所有混合云環(huán)境納入統(tǒng)一平臺進行監(jiān)控和生命周期及配置管理。
2)實現業(yè)務組權限劃分:通過SmartOp平臺的“業(yè)務組”功能,自由劃分資源池和業(yè)務組人員的權限控制。
3)實現IT即服務:將客戶所有資源都接入SmartOps平臺后,通過平臺ITSM功能模塊將客戶、軟件供應商、安暢運維服務三者流程化有機集合,向客戶提供IT服務化,客戶建設新系統(tǒng)、軟件變更、運維問題處理等事件都以IT服務的形式交付給客戶,大大提升了客戶管理復雜多云環(huán)境的難度。同時也避免了自身建立多云運維團隊的人力資源投入。
4)實現運維安全統(tǒng)一管控:依托Ops平臺的堡壘機功能,在一個平臺即可運維登陸 集團所有公有云、物理還是虛擬化服務器內部,進行業(yè)務部署和運維管理。
5)實現成本優(yōu)化:SmartOps平臺通過客戶云賬號AK與各大公有云同步云賬單信息,結合Ops平臺的監(jiān)控系統(tǒng)、來分析主機使用率和 預算設置管理,為客戶分析那些資源需要降配節(jié)約成本、那些資源沒有使用閑置狀態(tài)、那些資源負載高需要升配并將變化后的預估成本變化進行分析展示給客戶,客戶根據自身業(yè)務特性或規(guī)則來優(yōu)化成本。
經過安暢網絡遷移運維團隊的工作,該企業(yè)面向混合云和復雜IT環(huán)境的運維效果得到了如下提升:
1) 運維管理的運維流程得到了簡化,運維和故障響應的效率得到了提升,節(jié)省了自建運維團隊的人力成本。
2) 利用SmartOps平臺的監(jiān)控和費用分析自動得出優(yōu)化建議,同時實現預算控制,降低云計算平臺使用中的成本消耗,充分發(fā)揮云計算的按需收費的優(yōu)勢。
3.4 多云資源一致
隨著企業(yè)雙模態(tài)業(yè)務之間的深度融合,以及混合云和分布式邊緣云在企業(yè)內的應用程度加深,應用和各類資源在多云之間進行平滑遷移的需求逐步顯現,這就需要多云資源一致能力,即“互操作”能力。
多云資源一致的含義在于應用和資源能夠無縫地訪問公有云、私有云、中心云、邊緣云的計算、存儲、網絡等IaaS資源,乃至數據庫、中間件、微服務等PaaS資源,這有賴于多云間的基礎架構與標準的統(tǒng)一或兼容。
但是,由于公有云、私有云、中心云、邊緣云往往來自不同廠商,而這些廠商出于差異性競爭、產品創(chuàng)新等需求,都可能會在相對統(tǒng)一的原生技術標準,如KVM、OpenStack、Kubernetes、Ceph之上增加自己的特性或限制,這使得不同廠商的云在計算、網絡、存儲等基礎架構以及其上的IaaS、PaaS資源都會存在大量異構性,其影響主要體現在兩個方面:
1)資源深度耦合:不同云廠商的云原生資源與基礎架構深度耦合,云原生應用同樣與云原生資源相互耦合,對應用和資源的跨云遷移造成障礙。
2)功能進化不同步:公有云、私有云、中心云、邊緣云之間的基礎能力無法保證同步進化,這阻礙了私有云、邊緣云中的云原生應用采用公有云、中心云提供的最新服務,進一步增加了應用跨云漂移的難度。
現階段來看,多云資源一致仍然難以建立在開放生態(tài)的基礎上,因為這有賴于云廠商之間的共識,從而在未來實現某些統(tǒng)一的底層標準。
目前,在混合云、分布式邊緣云中實現資源一致性的階段性方案有三種:
1)采用統(tǒng)一廠商的全棧式方案:即由同一家云廠商來提供包括公有云、私有云、中心云、邊緣云產品,這樣做的好處在于完全保證了多云之間基礎架構和資源的一致性,能夠讓企業(yè)在私有云、邊緣云中享受到與公有云較為一致的資源服務,保證了上層應用無需改造、無需專門的遷移工具就能實現自由遷移。
2)搭建跨云的云原生技術中臺:通過Docker容器鏡像、Kubernetes容器編排技術實現跨云的統(tǒng)一云原生技術中臺搭建,能夠同時解決資源一致性和跨云遷移自動化的問題,并且能夠進一步服務于應用的全生命周期的跨云統(tǒng)一管理,這將在第四章中詳細介紹。
3)采用第三方云遷移工具:它盡管并沒有改變多云基礎架構異構的現實,但是卻提供了一種多云資源一致性的替代方案,即通過自動化、標準化的跨云遷移解決方案,降低了應用跨異構云遷移的成本,這樣的平臺可能是多云管理平臺(CMP),也可能是專業(yè)的云遷移工具。
與混合云解決方案類似,分布式邊緣云同樣存在全棧式、資源一致性的解決方案,較為典型的是華為云的九霄智能邊緣解決方案。
華為云九霄智能邊緣解決方案包括現場邊緣云IEF智能邊緣平臺(Intelligent EdgeFabric)和近場邊緣云IEC智能邊緣云(Intelligent Edge Cloud)兩部分,其中IEC智能邊緣云與華為公有云、華為云Stack基礎架構完全一致,主要面向AR/VR、云游戲、互動直播等近場邊緣場景,主要職責是提供基礎云服務能力,一般部署在城域網中的地市級、區(qū)縣級機房中。
相比于電信運營商的分布式邊緣云,華為云等云廠商的邊緣云解決方案在基礎架構一致性方面的優(yōu)勢,有助于其實現邊云深度協同。
4.多云架構的云原生技術中臺建設與應用交付
企業(yè)上云和數字化轉型的主要動力之一是為了實現業(yè)務創(chuàng)新,從而獲得快速的商業(yè)增長。
因此,盡管企業(yè)在上云初期主要關注基礎設施平臺的擴容成本、擴容效率、數據存儲安全性等問題,但是隨著其云計算應用程度加深而不斷加強,企業(yè)對于應用交付過程的關注會持續(xù)加強。
4.1多云架構對應用交付過程的挑戰(zhàn)
企業(yè)在數字化轉型和業(yè)務創(chuàng)新過程中,為了快速地實現業(yè)務迭代和體驗提升,需要不斷通過快速上線新功能的方式來收集用戶反饋,從而用于指導下一步的開發(fā),從而實現業(yè)務創(chuàng)新的敏捷化轉型。
因此,企業(yè)除了關注基礎設施層面的成本、效率優(yōu)化,以及安全合規(guī)等問題,必然會還會關注實現業(yè)務創(chuàng)新的云原生應用的交付效能。
混合云、分布式邊緣云的出現,對于應用交付效能提出了新的挑戰(zhàn)。如果企業(yè)無法有效解決異構多云環(huán)境下的應用交付效能降低,將阻礙混合云、分布式邊緣云的成功實踐。
如果要想找到評價企業(yè)應用交付過程是否能夠為企業(yè)創(chuàng)造足夠價值的一個評價標準,那么“應用交付效能”將是十分合適的一個指標。應用交付效能的含義是應用在開發(fā)與構建、測試、部署、運維管理的生命周期過程中,在吞吐量和穩(wěn)定性兩方面的綜合表現。
注:交付效能、吞吐量、穩(wěn)定性等定義來自谷歌旗下DORA(DevOps Research and Assessment)發(fā)布的《全球DevOps現狀調查報告》。
1)吞吐量:含義是應用在單位時間內更新的功能點的總量,它主要受到變更前置時間和部署頻率的影響。變更前置時間代表應用從研發(fā)人員提交代碼到成功在生產環(huán)境中部署所經歷的時間長度。部署頻率則與變更前置時間密切相關,一般來說前置時間越短,能夠達到的部署頻次就越高。
2)穩(wěn)定性:含義是應用交付完成后,在實際生產環(huán)境中持續(xù)發(fā)揮價值的能力,它主要受到變更及服務失敗率和服務恢復時間的影響。變更及服務失敗率主要指應用新功能上線后,由于功能缺陷、體驗性、系統(tǒng)故障等原因,導致應用被迫回退到上一版本或重新啟動的概率。服務恢復時間指應用在因系統(tǒng)故障、性能壓力等原因而停止后到恢復正常服務能力所需的時間。
隨著基于容器的DevOps、微服務治理等產品與方案的成熟,整個云計算的云原生技術中臺體系逐步形成,它也成為推動云計算時代的企業(yè)應用交付效能進一步提升的主要動力。云原生技術中臺對于應用交付效能的影響表現在吞吐量和穩(wěn)定性兩方面,如下圖所示。
1)吞吐量:DevOps平臺完全替代了過去開發(fā)、測試人員的手動打包提交、手動部署測試環(huán)境的過程,人工干預的頻次被極大降低,從而縮短了變更前置時間,提升了部署頻率,最終提升了吞吐量。微服務架構和開發(fā)體系進一步將研發(fā)顆粒度細化,團隊協作分工更加順暢,縮短了變更前置時間,同時提升了部署頻率,同樣提升了吞吐量。
2)穩(wěn)定性:DevOps平臺實現了從開發(fā)、測試人員到運維人員的流程自動化,容器技術的可移植性、跨環(huán)境一致性的特性消除了因環(huán)境異構導致的變更失敗可能,使得變更及服務失敗率大幅降低。微服務治理的路由控制、流量控制、負載均衡、熔斷限流等服務大幅降低了故障率,從而減少了服務恢復時間。這兩方面因素都使得應用交付的穩(wěn)定性極大提升。
但是,以混合云和分布式邊緣云為代表的多云架構帶來的異構的資源環(huán)境,必然需要打破單一云環(huán)境下的應用交付和管理生命周期,在應用交付的吞吐量、穩(wěn)定性兩方面都會給企業(yè)帶來新的挑戰(zhàn)。因此,在多云異構環(huán)境下,云原生技術中臺的價值再次凸顯。
4.2 構建跨云的云原生技術中臺
由于以Docker技術為代表云原生技術在相當程度上能夠屏蔽很大一部分多云間的異構性,實現應用開發(fā)測試環(huán)境的相對標準化、統(tǒng)一化,因此如果實現云原生技術中臺的跨云構建,那么多云架構之上的應用交付效能將得到有效提升,如下圖所示。
因此,如何構建一套兼容不同廠商的公有云、私有云、中心云和邊緣云的云原生技術中臺,成為企業(yè)在這一過程中將面臨的主要挑戰(zhàn)。
除了基于不同的云基礎設施平臺構建云原生技術中臺之外,一些大型政企客戶往往還擁有大量的數據中心資源,其中存在各類物理機、VMWare虛擬機。盡管這些資源中并沒有建設云基礎設施,但仍然是資源異構性的另一種表現。云原生技術中臺可直接搭建在物理機、虛擬機之上,實現跨異構資源、跨地域、跨機構的應用交付生命周期的統(tǒng)一管理,成為多云架構的另一種形式。
在這樣的挑戰(zhàn)下,獨立的容器云廠商的價值得到凸顯,其優(yōu)勢在于中立性、產品化和服務能力:
1)中立性:獨立容器廠商盡管可能與某些公有云廠商建立緊密的戰(zhàn)略合作關系,但總體來說其產品并不綁定IaaS平臺,而是能夠充分兼容各類IaaS層資源,包括VMware、OpenStack和主流公有云廠商,從而使得企業(yè)能夠在多公有云上部署同構的Kubernetes集群,從而有效支撐統(tǒng)一DevOps平臺的搭建。
2)產品化:獨立容器廠商的產品本質上是對原生Kubernetes進行二次開發(fā)和產品化封裝,增加大量面向企業(yè)使用場景的功能模塊,并提供友好的部署安裝和用戶交互界面,大幅降低了容器平臺的使用門檻。基于容器平臺,容器廠商一般還提供高度產品化的DevOps平臺,集成面向開發(fā)、構建、測試等各階段的中間件和工具,為企業(yè)提供一套端到端的DevOps方案。
3)服務能力:獨立容器廠商一般具備專業(yè)的服務團隊,可以為尚不熟悉容器和DevOps的企業(yè)提供培訓、咨詢和技術支持服務。對于部分具有復雜定制化要求的企業(yè),公有云廠商一般不會提供深度的交付服務,而許多獨立容器廠商則能夠提供此類服務。
總體來看,基于容器云廠商提供的跨云的云原生技術中臺,企業(yè)能夠實現包含開發(fā)、構建、測試、部署與運維過程在內的DevOps敏捷開發(fā)過程,避免了因多云異構環(huán)境造成的人工操作增多、應用交付效能降低的情況。
3.3多云架構下“云原生閉環(huán)”的構建
盡管在跨云的云原生技術中臺的搭建過程中,我們看到了獨立容器云廠商的獨特價值,但是它也并非唯一的答案。
實際上,云原生技術中臺的最初目的,就是為了服務于云原生應用交付的全生命周期。而考慮到敏捷開發(fā)過程周而復始的過程,這個生命周期顯然不可能是一條單向的直線,而一定會構成一個“云原生閉環(huán)”。
根據一般企業(yè)的軟件研發(fā)及上線流程,這個完整的“云原生閉環(huán)”應該包括:業(yè)務部門流程,即需求提出;研發(fā)和測試部門流程,即需求確定、開發(fā)測試資源申請、開發(fā)與構建、測試;運維部門流程:部署、運維管理、問題與需求反饋。隨著運維部門將應用在部署或運維中出現的問題反饋到研發(fā)測試部門,整個閉環(huán)周期才完全流轉結束,如下圖所示。
正如上圖所展示,在云原生應用交付的生命周期里,除了需求確定、云原生應用開發(fā)、測試、應用部署等環(huán)節(jié)由容器云廠商占據主導,在資源申請、監(jiān)控與災備這兩個連接開發(fā)測試部門與運維部門的核心環(huán)節(jié)中,企業(yè)都需要相應的工具平臺進行支撐。
當多云異構環(huán)境成為企業(yè)中的主流以后,如何實現跨云的資源統(tǒng)一申請、統(tǒng)一監(jiān)控與災備,從而有效提升“云原生閉環(huán)”的效率成為企業(yè)的主要痛點之一。
此外,云原生技術的普遍應用也改變了所謂“資源”的定義。傳統(tǒng)IT和云原生出現之前的資源更多的是指的物理資源和虛擬化資源,以及傳統(tǒng)的數據庫和中間件資源。但云原生技術成熟之后,容器、云原生數據庫、云原生中間件等云原生資源同樣需要進行統(tǒng)一申請、統(tǒng)一運維監(jiān)控和災備。
在這種背景下,許多廠商的CMP、APM等ITOM工具,正在逐步從基礎設施層向云原生層進行拓展,從而融入到“云原生閉環(huán)”中。
因此,基于“云原生閉環(huán)”的重要價值,我們把面向云原生資源進行管理、監(jiān)控并提供IT服務的云管理工具CMP,以及應用性能監(jiān)控工具APM等ITOM工具,都定義為云原生技術中臺的重要組成部分。
4.3.1 多云架構下的資源申請
在單一云的環(huán)境下,企業(yè)往往直接通過公有云、私有云的后臺管理界面來申請資源。但是在越來越復雜的多云環(huán)境下,有大量獨立的資源申請入口,并且需要通過這些獨立的入口來對資源進行管理,對企業(yè)的資源分配造成較大管理困難,多云管理平臺CMP的價值得到充分凸顯。
CMP的最初意義在于提供對異構的多云環(huán)境,包括VMware虛擬機、OpenStack私有云、公有云、容器、存儲、SDN等各類資源的統(tǒng)一納管,為企業(yè)優(yōu)化云服務成本,統(tǒng)計云資源使用情況。
但是,在企業(yè)日益復雜的多云管理需求下,CMP逐步從單純的資源管理工具,發(fā)展為能夠為IT部門乃至業(yè)務部門提供服務化能力的ITSM平臺。
在服務化趨勢下,CMP可作為對內服務門戶,提供統(tǒng)一的資源申請入口,對包括虛擬主機、存儲、SDN網絡在內的IaaS資源,容器、DevOps、中間件、數據庫在內PaaS資源實現集中化、服務化交付。其中,對于VMware這類單租戶、缺乏自服務能力的傳統(tǒng)虛擬化平臺,CMP能夠有效地為其增加多租戶、自服務特性,與私有云、公有云等資源實現統(tǒng)一化的管理和交付。
總體來說,CMP的服務化趨勢提升了IT資源申請、審批和創(chuàng)建的自動化水平,降低了應用交付的變更前置時間,提升了應用交付吞吐量。
4.3.2 多云架構下的監(jiān)控與災備
多云異構環(huán)境對IT運維管理的挑戰(zhàn)主要體現在性能監(jiān)控、容災備份兩方面:
1)性能監(jiān)控:在多云異構環(huán)境下,IT系統(tǒng)的隱患和故障類型更加復雜,多因素故障成為主要的故障類型,故障排查難度上升,而傳統(tǒng)的、單點式的故障監(jiān)控分析工具已經難以滿足運維人員的需求,成為提升服務恢復時間、應用交付穩(wěn)定性的主要瓶頸之一。
面對大量的多因素、關聯性故障,APM工具能夠幫助企業(yè)進行更加深度和多維度的監(jiān)控分析,能夠通過基礎監(jiān)控協議、字節(jié)碼探針、SDK/API等方式觸達包括IaaS、PaaS、應用層、日志文件等在內的各類IT資源,獲取指標數據并進行關聯分析,實現跨越異構云環(huán)境的故障定位。
相比于APM,CMP更傾向于提供針對多云環(huán)境的整體運維管理解決方案,在提供多云資源納管和成本優(yōu)化的基礎上,同樣能夠針對多云異構的IaaS、PaaS資源提供一系列監(jiān)控告警服務。此外,容器云廠商的微服務治理平臺在面向微服務架構應用的監(jiān)控方面存在明顯優(yōu)勢。
因此,APM、CMP、微服務治理平臺等性能監(jiān)控工具的價值,在于能夠幫助企業(yè)降低服務恢復時間,提升應用交付的穩(wěn)定性和總體效能。
2)容災備份:在多云異構環(huán)境下,因為私有云、VMWare虛擬機、公有云、跨云網絡中的各類故障而造成的業(yè)務中斷風險明顯增加,同時由于業(yè)務創(chuàng)新需求,多云架構往往需要進行更加頻繁的資源變更,這些都對于應用的交付穩(wěn)定性、業(yè)務連續(xù)性能力提出了更高要求。因此,企業(yè)的容災備份需求大大提升。但是,傳統(tǒng)IOE廠商的災備技術較為笨重,難以適應云計算環(huán)境下高頻的災備需求。
因此,基于云計算技術的云災備平臺能夠有效提升多云環(huán)境中的災備效率,同時降低成本,優(yōu)勢主要體現在兼容性、高效性兩方面。在兼容性方面,云災備支持平臺架構解耦,兼容各種虛擬化平臺和云平臺,如VMWare、KVM、OpenStack等,無廠商綁定限制。在高效性方面,云災備平臺支持精簡復制、斷點續(xù)傳、即時負載接管應急、多副本負載演練等功能,能夠提升災備的成功率和靈活性,將災備演練的周期縮短,并通過應急接管能力提升多云服務的業(yè)務連續(xù)性。
因此,云災備平臺的價值在于能夠有效提升企業(yè)的業(yè)務連續(xù)性,最終提升應用交付的穩(wěn)定性和整體效能。
總體來看,多云異構環(huán)境下的監(jiān)控災備環(huán)節(jié),主要挑戰(zhàn)在于復雜的異構環(huán)境對性能監(jiān)控、容災備份的自動化、標準化程度帶來挑戰(zhàn),運維人員可能會因此增加人工操作頻次,從而增加失敗率和服務恢復時間,最終降低應用交付的穩(wěn)定性和總體效能。
而解決這一挑戰(zhàn)的主要途徑是通過CMP、APM、微服務治理平臺、云災備平臺等ITOM工具實現面向多云異構環(huán)境的運維過程自動化和標準化。
5.哪些云計算新趨勢將為企業(yè)創(chuàng)造更多價值?
展望未來,隨著云計算技術深入到企業(yè)的業(yè)務中,必然會催生兩方面需求:一方面是更好地讓云計算的低成本、高性能算力為企業(yè)的數據利用服務,加速企業(yè)的業(yè)務創(chuàng)新;另一方面是將云計算與傳統(tǒng)網絡拓撲進行無縫融合,從而更好地為擁有大量歷史遺留IT資源的傳統(tǒng)型、集團型企業(yè)提供全面上云的支撐。
5.1面向數據密集型應用的云原生技術中臺
5.1.1數據密集型應用面臨的生命周期管理挑戰(zhàn)
相比于底層的IT基礎設施,數據和企業(yè)業(yè)務的聯系更加緊密。因此,對數據普遍應用是企業(yè)數字化轉型的最直接表現,它能夠為企業(yè)帶來業(yè)務營收和生產效率的增長,同時有效改善客戶體驗。
企業(yè)對數據進行利用的歷史非常悠久,從早期的面向主題的數據倉庫建設與OLAP分析,到后來的大數據技術、機器學習與深度學習的興起,數據的利用深度以及產生的價值也在不斷進化。
但是企業(yè)數字化轉型進程的不斷推進,數據維度、數據類型的越來越復雜,企業(yè)面臨的業(yè)務訴求越來越復雜,對數據利用效率的要求越來越高,使得原有的數據利用過程遇到了效率瓶頸。
在這樣的背景下,如何從應用管理的角度出發(fā),將數據利用過程轉化為包括開發(fā)、部署、編排、持續(xù)測試和優(yōu)化等環(huán)節(jié)在內的數據密集型應用的生命周期管理過程,已經成為企業(yè)IT與組織能力的核心挑戰(zhàn)之一。
但是,DevOps過去僅僅關注的是非數據密集型的的應用,對于以數據密集型應用的關注較少,但兩者存在截然不同的需求:
1)數據帶來的管理挑戰(zhàn):面向非數據密集型應用的DevOps主要關注代碼、工具、基礎設施和人員之間的關系,而數據密集型應用的開發(fā)過程則增加了數據這一額外的元素,它比其他幾者的管理難度更高,需要通過有效的數據治理過程來整合多個數據源,同時保證數據質量,最終使得數據達到“業(yè)務就緒”狀態(tài)。
2)數據帶來的工具和人員的挑戰(zhàn):數據密集型應用的開發(fā)和維護過程需要依賴于不同于非數據密集型應用開發(fā)的技術棧和工具,包括數據建模語言,以及傳統(tǒng)的ETL/ELT、元數據管理、主數據管理、數據質量工具,再到數據可視化BI工具和數據科學工具,而涉及到的人員也發(fā)生了改變,比如數據庫管理員、數據分析師、數據科學家、業(yè)務或運營人員等。
因此,近些年業(yè)內有人提出了面向數據密集型應用的生命周期管理理念——DataOps,它嘗試將數據、代碼、工具、基礎架構和人員進行標準化的流程管理,最終提高數據開發(fā)過程的生產能力、可重復性、敏捷性和自助服務能力,最終實現數據科學模型持續(xù)部署和優(yōu)化。但目前DataOps的具體模式尚不成熟,仍然在持續(xù)探索中。
同時,云計算逐步發(fā)展出為數據型應用提供計算、存儲、分析、服務和生命周期管理能力的PaaS——DaaS(既包括了面向數據存儲的DB PaaS,又包括了面向數據分析和AI建模的Business Analytics PaaS),也就是通常所說的數據中臺和AI中臺,它將數據開發(fā)過程變成一項能夠在云計算平臺中按需取用的服務。
5.1.2 云原生技術實現提供多云、多數據中心數字化應用解決方案
然而,面向數據密集型應用的DaaS與生命周期管理過程,在云計算平臺上的實踐中仍然會面臨一系列挑戰(zhàn):
1)環(huán)境異構性的挑戰(zhàn):傳統(tǒng)領域企業(yè)在數據應用實踐中,往往會面臨多云、多數據中心等異構環(huán)境,而異構環(huán)境會直接影響數據匯集和利用的效率,從而影響數據密集型應用開發(fā)的整體效率。
2)生產環(huán)境性能的挑戰(zhàn):數據密集型應用在生產部署環(huán)境中需要進行大量的數據處理和模型推理,對于計算的并發(fā)性要求更高,單臺服務器上部署多個業(yè)務會產生資源競爭,但虛擬化會產生明顯的性能損耗,需要輕量化的隔離部署環(huán)境。
3)數據交換合規(guī)性的挑戰(zhàn):非數據密集型應用的開發(fā)測試過程可以不依賴于真實數據源,但是數據密集型應用則不同,由于其需要進行數據建模和機器學習等過程,必然需要依賴于大量真實數據。但是,在多云、多數據中心的環(huán)境中,企業(yè)或組織往往需要對割裂在不同地域、不同組織中的數據進行統(tǒng)一匯集,共同進行數據分析和建模。但是,部分行業(yè)和領域對數據的合規(guī)性限制往往阻礙了數據的跨地域、跨組織的匯集與利用。
面對這些挑戰(zhàn),基于Docker、Kubernetes等云原生技術構建跨多云、多數據中心的DataOps成為企業(yè)的必然選擇。
星環(huán)科技“聯邦云”助力上海市數據交換共享中心實現“一網通辦”
星環(huán)科技是一家專注于企業(yè)級容器云計算、大數據和人工智能核心平臺產品研發(fā)的科技服務商,旗下的Transwarp Data Cloud(TDC)是一個涵蓋了基于容器的數據中心云操作系統(tǒng)、數據平臺服務、分析平臺服務、應用平臺服務的全棧數據云平臺,實現了“大數據+云+人工智能”的融合,幫助企業(yè)構建從底層IT基礎設施,到數據服務化和應用化的企業(yè)級IT基礎設施能力平臺,產品架構如下圖所示。
在TDC產品的基礎上,星環(huán)科技推出了TDC聯邦云解決方案,通過將跨多個數據中心甚至公有云的數據、應用和基礎設施資源進行統(tǒng)一管理,協同管理企業(yè)內部已有的資源和數據,從而構建一套完整、統(tǒng)一、互聯互通的數字化基礎設施。
聯邦云解決方案具備數據聯邦、聯邦計算、聯邦學習等多方面的數據共享利用能力:
1)數據聯邦通過多租戶的方式對數據進行匯集和共享,保證數據安全;
2)聯邦計算實現跨數據中心和云的數據庫全局視圖,實現在不移動數據的情況下進行SQL查詢和合規(guī)性審核;
3)聯邦學習實現跨數據中心和云的AI模型訓練和迭代,無需進行數據遷移。
星環(huán)科技TDC“聯邦云”解決方案的典型客戶是上海市人民政府主管的上海市大數據中心,其成立背景是上海市市委辦公廳、市政府辦公廳頒布《上海市全面推進“一網通辦”加快建設智慧政府工作方案》,明確提出“以電子政務云為基礎,以跨部門、跨層級應用為抓手,統(tǒng)籌構建‘云數聯動’的數據共享交換平臺,實現重要信息系統(tǒng)通過統(tǒng)一平臺進行數據共享交換,打通各部門信息系統(tǒng)、打破‘數據孤島’”。
為了實現這一目標,上海市大數據中心建設上海市數據共享交換平臺,包含市級數據交換子系統(tǒng)、市級數據湖、市級數據庫、數據集成子系統(tǒng)、市級數據治理子系統(tǒng)、數據服務子系統(tǒng)等業(yè)務模塊。
其中,市級數據湖匯聚“四大庫”、“市級統(tǒng)建系統(tǒng)”、“各市級委辦系統(tǒng)”、“各行政區(qū)系統(tǒng)”的經過初始治理的原始數據,市級數據庫主要用于存放經過一系列清洗、轉換、加載、治理步驟后的高質量的政務數據資源,其數據來源主要來自數據湖;數據集成子系統(tǒng)實現對數據湖數據的存儲管理、共享與交換,推送數據到治理平臺,并建立與市級數據庫的連接。
在項目中,星環(huán)科技基于TDC為上海市大數據中心數據共享交換平臺提供大數據支撐管理子系統(tǒng),匯集了統(tǒng)一、標準、完整的人口信息數據庫、法人單位基礎信息庫、自然和地理基礎信息庫及電子證照信息庫四大庫信息,49家市級委辦政務數據及交換日志數據,構建三級數據共享交換體系,保障數據安全,支撐“一網通辦”、“市民主頁”等數據服務能力。
星環(huán)科技的項目實施成果主要體現在一網通辦、政務大屏、政務決策支持三方面。
1)一網通辦:把政務數據歸集到共享交換平臺,打通分散的信息和材料;提供政務服務、便民服務、企業(yè)服務等類服務;解決企業(yè)和群眾“辦不完的手續(xù)、蓋不完的章、跑不完的路”等麻煩,提高政府辦事效率;將面向企業(yè)和群眾的所有線上線下服務事項,逐步做到一網受理、只跑一次、一次辦成。
2)政務大屏:通過挖掘和提煉數據庫中不同主題的政務數據的詳盡指標,將領導決策層最關心的數據指標維度形象化、直觀化、具體化地“一站式”展現,達到為智慧政務管理做決策支撐的目的。典型的應用包括宏觀經濟地圖、人口與信用地圖、低碳能耗地圖等。
3)政務決策支持:在經濟預測、科技創(chuàng)新、城市規(guī)劃等方面為政府提供決策支持,比如:從宏觀到微觀、行業(yè)和區(qū)域等幾個維度的關聯展示,層層揭示各個層級的經濟發(fā)展狀況,并通過最終需求法等宏觀建模對經濟增長水平進行預測和敏感度分析;根據流行的SCP(結構-行為-績效)范式,從科技政策、人才與資金投入切入,分析科技產業(yè)結構、發(fā)展現狀和產業(yè)績效,并從科技園區(qū)、項目申報等角度展示科技政策的成效;通過對特定功能區(qū)、土地板塊、自貿區(qū)等城市功能承載區(qū)的量化分析,并疊加相關人員流動和分布狀況,綜合分析城市規(guī)劃效果和優(yōu)化空間。
總體來看,跨云和數據中心的DataOps所應具備的核心能力包括:
1)能夠為數據密集型應用的開發(fā)、測試、部署過程提供一致性的環(huán)境,從而有效提升數據開發(fā)效率,降低人工介入頻次;
2)能夠為數據分析和模型推理過程提供輕量級隔離的生產部署環(huán)境,以達到高并發(fā)的計算性能,可直接部署在物理機、公有云的裸金屬服務器中,以降低因虛擬化而產生的性能損耗;
3)為跨地域、跨機構的數據匯集與利用提供權限相互隔離的多租戶環(huán)境,有效保證數據的安全合規(guī)性。
按照數據利用的階段來看,面向數據密集型應用的云原生技術中臺又大體包括云原生數據中臺、云原生AI中臺兩類。
1)云原生數據中臺:基于各類數據庫、數據倉庫、數據集市,承擔數據接入、數據治理、數據資產管理、數據建模等工作,降低開發(fā)門檻,提升開發(fā)效率。
2)云原生AI中臺:一般需要建立在云原生數據中臺的基礎上,打通從數據存儲、數據分析、數據建模到AI算法的數據管道,實現面向自然語言、音視頻、非結構化數據等多模態(tài)數據的機器學習、深度學習,提供低門檻、高效率的AI模型訓練、部署與持續(xù)優(yōu)化能力。
綜上所述,云計算技術未來如果要進一步深入企業(yè)業(yè)務中,進一步推動企業(yè)數字化轉型和業(yè)務創(chuàng)新,并幫助企業(yè)克服因異構的傳統(tǒng)IT、多云、多數據中心環(huán)境帶來應用交付困難,云原生的數據中臺與AI中臺將成為其重要的發(fā)展趨勢。
5.2云網融合趨勢重塑傳統(tǒng)網絡管理模式
隨著云計算深度地融入到傳統(tǒng)型、集團型企業(yè)的業(yè)務之中,它必然要與企業(yè)原有的網絡技術架構發(fā)生融合。在這樣的背景下,通過“云網融合”重塑傳統(tǒng)ICT架構正在成為云計算發(fā)展的另一項前沿趨勢。
云網融合的主要驅動力可以歸結為傳統(tǒng)型、集團型企業(yè)上云過程中的兩個IT架構變化趨勢:
1)資源的異地化:正如第一章所述,傳統(tǒng)型企業(yè)的業(yè)務創(chuàng)新驅動了各類創(chuàng)新型應用的誕生,常常會產生對公有云的需求。此外,為了滿足企業(yè)在不同地域的IT服務能力,實現核心系統(tǒng)的全面上云,企業(yè)還可能會在多個地域、多個分支機構建設數據中心或機房,并進行私有云、虛擬化的建設。以上這兩種因素都推動了企業(yè)IT與云資源的異地化趨勢。
在這樣的背景下,企業(yè)為了提升對外和對內的IT服務和響應能力,需要通過專線、VPN、SD-WAN等廣域網技術實現在異地資源之間實現低延時網絡互聯,并提升網絡開通和變更的效率。
2)資源異構化:由于創(chuàng)新型業(yè)務、傳統(tǒng)型和核心型業(yè)務的不同需求,企業(yè)在這些資源進行IT建設和上云過程中,必然會產生包括各類物理資源與虛擬資源、專屬資源與共享資源在內的異構資源池。由于傳統(tǒng)型企業(yè)業(yè)務的相對穩(wěn)定性,這些異構資源池將會長期存在于IT架構中,因此隨著時間推進,它們內部的、之間的網絡拓撲架構都會變得越來越復雜。
對于電信運營商、第三方數據中心運營商、廣電等對網絡服務能力具有苛刻要求的行業(yè)來說,過去依托于專業(yè)物理設備、依賴人工操作的網絡配置過程極大影響了網絡配置和變更效率。因此,這類企業(yè)亟需通過SDN、NFV等技術實現網絡的自動配置、拓撲靈活調整、自動化編排、協同調度等能力,即網絡的云化。
云間互聯、網絡云化這兩種云網融合方式在具有多數據中心和公有云的企業(yè)內,表現方式如下圖所示。
分布式邊緣云是多云異構環(huán)境的另一種表現,它在地市、區(qū)縣、園區(qū)等各個級別的邊緣云由于一般不具備駐場的專業(yè)網絡人員,同樣需要通過SDN/NFV等技術來實現網絡配置的自動化和網絡服務的編排,如下圖所示。
此外,由于邊緣云的機房環(huán)境條件的差異往往十分巨大,比如,地市級機房的網絡資源相對充足,但區(qū)縣級以下機房的網絡資源相對緊缺,因此SDN部署同樣應當做出相應的適配,實現輕量化的部署方案。
結語
2010年代,混合云與多云是云計算應用的前沿趨勢,它是云計算不斷滿足企業(yè)差異化業(yè)務形態(tài)過程中出現的必然結果。
2020年代,除了混合云與多云的趨勢將進一步深化,近場化、場景化、融合化將成為云計算應用的三大最新趨勢。
邊緣計算驅動的近場化趨勢,讓云計算算力的空間位置更加貼近企業(yè)現場,加強了云計算對邊緣側的數據利用能力,從而為企業(yè)提供更加低時延、低成本、沉浸式的數據利用支撐;
DaaS與DataOps驅動的場景化趨勢,讓云計算算力的邏輯層次更加貼近企業(yè)業(yè)務,加強了云計算的數據利用效能,從而進一步驅動了企業(yè)的業(yè)務創(chuàng)新;
云網融合驅動的融合化趨勢,讓云計算基礎架構與企業(yè)、地方、全國、全球等各個范圍的ICT基礎設施實現高度融合,雙方開始呈現“你中有我,我中有你”的狀態(tài),最終使得企業(yè)經營、個人生活都與云計算結合得更加緊密而深刻。
未來,愛分析將持續(xù)而深入地追蹤云計算的最前沿趨勢在各個行業(yè)內的落地進展和最佳實踐。