国产精品chinese,色综合天天综合精品网国产在线,成午夜免费视频在线观看,清纯女学生被强行糟蹋小说

    <td id="ojr13"><tr id="ojr13"><label id="ojr13"></label></tr></td>
        • <source id="ojr13"></source>
            <td id="ojr13"><ins id="ojr13"><label id="ojr13"></label></ins></td>

            Article / 文章中心

            阿里云徐立:面向容器和 Serverless Computing 的存儲創(chuàng)新

            發(fā)布時(shí)間:2021-11-26 點(diǎn)擊數(shù):639

            云原生的創(chuàng)新源泉


            云原生趨勢下,應(yīng)用容器化比例正在快速增長,Kubernetes 也已成為云原生時(shí)代新的基礎(chǔ)設(shè)施。 Forrester 預(yù)測到 2022 年,全球組織/公司在生產(chǎn)環(huán)境運(yùn)行容器化應(yīng)用。今天不足 30%的比例將大幅度提升到過 75%,企業(yè)應(yīng)用容器化的趨勢勢不可擋。我們可以看到兩個(gè)普遍的現(xiàn)象。首先,在云上托管 Kubernetes 已經(jīng)成為企業(yè)上云及運(yùn)行容器的優(yōu)先選擇。另外,用戶使用容器的方式也在改變,從無狀態(tài)應(yīng)用到核心企業(yè)應(yīng)用再到數(shù)據(jù)智能應(yīng)用,越來越多的企業(yè)使用容器來部署生產(chǎn)級別、復(fù)雜度高和高性能計(jì)算的有狀態(tài)應(yīng)用。比如 Web 服務(wù)、內(nèi)容資料庫、數(shù)據(jù)庫,甚至 DevOps、AI/大數(shù)據(jù)應(yīng)用等。


            1.png

            隨著基礎(chǔ)設(shè)施從物理機(jī)到虛擬機(jī),到以 Kubernetes 為代表的容器環(huán)境,甚至到 Serverless 的逐漸演進(jìn),今天的計(jì)算和應(yīng)用正在面臨巨大的變化。這種變化使得資源粒度越來越細(xì),生命周期越來越短,計(jì)算按需使用。


            從用戶視角來看云原生帶來的存儲變化,最明顯的就是用戶使用存儲界面發(fā)生上移,和應(yīng)用不直接相關(guān)的存儲服務(wù)從應(yīng)用層下沉到云平臺,用戶更關(guān)心應(yīng)用。 


            舉例來說,傳統(tǒng)形態(tài)用戶需要關(guān)心所有硬件和軟件,逐漸過渡到用戶關(guān)心虛擬機(jī)、操作系統(tǒng)和整個(gè)應(yīng)用軟件棧,到今天在 Serverless 里演變成用戶只關(guān)心應(yīng)用業(yè)務(wù)和代碼。系統(tǒng)資源從物理資源層、虛擬化資源層上升到應(yīng)用開發(fā)層,用戶無需關(guān)心底層的基礎(chǔ)設(shè)施。 


            在這樣的技術(shù)體系下,存儲的能力的演變主要體現(xiàn)在以下 3 個(gè)方面:


            1、高密虛擬機(jī)時(shí)代,一個(gè)虛擬機(jī)就對應(yīng)一個(gè)完整的存儲空間,可以用其存儲整個(gè)應(yīng)用所需要的所有數(shù)據(jù)相關(guān)的訪問和存儲需求。在Serverless 函數(shù)計(jì)算環(huán)境,應(yīng)用被切分為一個(gè)個(gè)函數(shù),對應(yīng)的資源都需要存儲管理,因此,存儲的密度發(fā)生了很大的變化,存儲密度更高。


            2、彈性隨著應(yīng)用拆分的粒度越來越細(xì)化,存儲密度逐漸提升,Serverless 函數(shù)計(jì)算大規(guī)模實(shí)例需要高并發(fā)啟動,存儲需要極致彈性的能力。


            3、極速從Serverless 函數(shù)計(jì)算的角度來看,函數(shù)是整個(gè)進(jìn)程的一個(gè)部分,生命周期自然變短。由此出現(xiàn)大量短生命周期的容器實(shí)例。隨著生命周期越來越短,需要存儲快速掛載/卸載,快速訪問。 


            隨著服務(wù)界面發(fā)生上移,存儲管控界面被重塑,內(nèi)置存儲和外置存儲變得更加清晰。Serverless 環(huán)境里,用戶可見界面是外置存儲(包括文件存儲和對象存儲),而內(nèi)置存儲(包括鏡像存儲和臨時(shí)存儲)對用戶是不可見的,內(nèi)置存儲由阿里云來管理,提供了創(chuàng)新的機(jī)會。


            鏡像加速的技術(shù)創(chuàng)新


            阿里巴巴容器規(guī)?;渴鸬奶魬?zhàn)


            2.pngimage.gif


            阿里巴巴容器規(guī)?;渴鹬饕媾R的挑戰(zhàn)體現(xiàn)在以下幾個(gè)方面:


            1、業(yè)務(wù)體量大。集群規(guī)模大,高達(dá)十萬量級;所有應(yīng)用全部容器化,并且應(yīng)用鏡像大,通常以數(shù)十 GB 大小為主。


            2、更快的部署速度。業(yè)務(wù)規(guī)模持續(xù)增長,要求云平臺可以快速的部署應(yīng)用,才能夠處理業(yè)務(wù)增長,尤其雙十一大促時(shí)緊急擴(kuò)容,難以事前對各服務(wù)準(zhǔn)確預(yù)估容量。


            3、然而大規(guī)模的創(chuàng)建或者更新容器集群依然很慢,主要原因是容器部署鏡像的下載和解壓很慢,主要的技術(shù)挑戰(zhàn)如下:


            • 時(shí)間開銷大:時(shí)間開銷 ∝ 鏡像大小 * 節(jié)點(diǎn)數(shù);一千節(jié)點(diǎn)就需要存一千份鏡像;


            • CPU 時(shí)間開銷大:gzip解壓慢,且只能串行解壓;


            • I/O 壓力大:下載、解壓兩輪寫盤,包括眾多節(jié)點(diǎn)同時(shí)寫盤,對云盤產(chǎn)生“共振”;  


            • 內(nèi)存占用擾動對宿主機(jī) page cache 產(chǎn)生嚴(yán)重?cái)_動;


            • 但是有效數(shù)據(jù)占比少:啟動時(shí)平均僅需鏡像數(shù)據(jù)的6.4%。


            應(yīng)對以上技術(shù)挑戰(zhàn),大規(guī)模容器部署的關(guān)鍵需求抽象總結(jié)為三點(diǎn):


            1、按需:下載解壓速度足夠快、數(shù)據(jù)按需訪問和按需傳輸。


            2、增量分層:數(shù)據(jù)解耦,通過 OCI-Artifacts 標(biāo)準(zhǔn) overlayfs 把層次做劃分,增量數(shù)據(jù),時(shí)間資源使用更有效。


            3、Remote Image :采用遠(yuǎn)程鏡像技術(shù),改變鏡像格式,同時(shí)減少本地資源的消耗。


            Remote Image 技術(shù)方案對比


            Remote Image 主要有兩種技術(shù)實(shí)現(xiàn)的方式,一種是基于文件系統(tǒng),第二種是基于塊設(shè)備。Remote Image 技術(shù)方案對比如下圖所示:


            3.png


             基于文件系統(tǒng)的 Remote Image 技術(shù)的主要特點(diǎn)是直接提供文件系統(tǒng)接口,是容器 Image 的自然擴(kuò)展。復(fù)雜度高,穩(wěn)定性、優(yōu)化和高級功能的實(shí)現(xiàn)難度大。在通用性上,和操作系統(tǒng)綁定,能力固定,不一定匹配所有應(yīng)用。同時(shí)攻擊面較大。行業(yè)代表主要是 Google CRFS,Microsoft Azure Project Teleport,AWS SparseFS。 


            基于塊設(shè)備實(shí)現(xiàn)的 Remote Image 技術(shù)的主要特點(diǎn)是可配合常規(guī)文件系統(tǒng)一起使用,如 ext4;普通容器、安全容器、虛擬機(jī)均可直接使用。復(fù)雜度、穩(wěn)定性、優(yōu)化和高級功能更容易實(shí)現(xiàn)。在通用性上,與操作系統(tǒng)和文件系統(tǒng)解綁,應(yīng)用可自由選擇最合適的文件系統(tǒng),如 NTFS,作為依賴打包進(jìn) Image。并且攻擊面較小。


            阿里巴巴選擇了 Date Accelerator for Disaggregated Infrastructure (簡稱為 DADI),同時(shí)進(jìn)行了規(guī)模性驗(yàn)證。


            阿里巴巴自研容器鏡像加速技術(shù) DADI


            DADI 是阿里巴巴的獨(dú)創(chuàng)性的技術(shù)方案。DADI 鏡像服務(wù)是一種可以做到敏捷又彈性部署應(yīng)用的分層塊級鏡像服務(wù)。DADI 徹底摒棄了傳統(tǒng)容器啟動的瀑布類型(即下載、解包、啟動),實(shí)現(xiàn)了遠(yuǎn)程鏡像的細(xì)粒度按需加載,容器啟動前不在需要部署鏡像,容器在創(chuàng)建后可以立即啟動。

             

            DADI 的數(shù)據(jù)路徑如下圖所示,虛線之下是內(nèi)核態(tài),虛線之上是用戶態(tài)。DADI 將鏡像抽象為虛擬塊設(shè)備,并在其上容器應(yīng)用掛載常規(guī)文件系統(tǒng)如 ext4。當(dāng)用戶應(yīng)用讀取數(shù)據(jù)時(shí)候,讀取請求先通過常規(guī)的文件系統(tǒng)處理,文件系統(tǒng)將請求轉(zhuǎn)換為虛擬塊設(shè)備的一次或者多次讀取。對塊設(shè)備的讀取請求被轉(zhuǎn)發(fā)到用戶態(tài)的 DADI 模塊,最后轉(zhuǎn)換為一個(gè)或者多個(gè) Layer 的隨機(jī)讀取。


            4.png


            DADI 鏡像采用塊存儲+分層技術(shù),每層只記錄被增量修改的數(shù)據(jù)塊,支持壓縮以及實(shí)時(shí)的按需解壓縮;支持按需傳輸,只傳輸用到的數(shù)據(jù)塊下載使用;DADI 還可以采用 P2P 傳輸架構(gòu),一傳十、十傳百,在大規(guī)模集群內(nèi)將網(wǎng)絡(luò)流量均衡到所有多個(gè)節(jié)點(diǎn)上去。


            DADI 關(guān)鍵技術(shù)解讀


            DADI 增量鏡像可以通過基于塊+分層技術(shù)來實(shí)現(xiàn),其中每個(gè)層對應(yīng)于一個(gè) LBA 的變更。DADI 的關(guān)鍵技術(shù)包括遠(yuǎn)程鏡像的細(xì)粒度按需傳輸,高效的在線解壓縮,基于 trace 讀取,用于處理突發(fā)工作的 P2P 傳輸技術(shù)。DADI 在提高部署應(yīng)用的敏捷性和彈性方面非常有效。 


            1、分層塊設(shè)備 Overlay Block Device


            每層記錄被增量修改的變長數(shù)據(jù)塊 LBA,不涉及文件/文件系統(tǒng)的概念,以 512 字節(jié)為最小粒度。快速索引,支持變長記錄,以節(jié)省內(nèi)存,各記錄的 LBA 不重疊,支持高效的區(qū)間查詢。 


            2、原生支持可寫層


            提供追加寫文件和隨機(jī)寫稀疏文件兩種模式構(gòu)建 DADI 鏡像。只讀層,每個(gè)只讀都可以按照不同類型的大小,每層查詢區(qū)間,速度極快??蓪憣佑纱鎯υ紨?shù)據(jù)(Raw Data)和存儲索引(Index)兩部分組成,接受 append only 組織而成。


            5.png

            image.gif

            3、ZFile 壓縮格式


            標(biāo)準(zhǔn)壓縮文件格式,例如 gz,bz2,xz 等,無法高效的進(jìn)行隨機(jī)讀寫操作,無論讀取壓縮文件中的哪一部分,都需要從頭部開始解壓,為了支持 layer blob 的壓縮并同時(shí)支持遠(yuǎn)程鏡像的按需讀取,DADI 引入了 ZFile 壓縮格式。ZFile 的壓縮格式如下圖所示,按固定大小數(shù)據(jù)塊壓縮,只解壓讀到的數(shù)據(jù)塊,支持多種有效的壓縮算法,包括 lz4,zstd,gzip 等,采用通用格式,不綁定于 DADI。


            6.png

            image.gif

            4、基于 Trace 預(yù)取


            記錄應(yīng)用過程中的讀取日志、只記位置、不記數(shù)據(jù)本身。在應(yīng)用冷啟動時(shí),若已有 trace 記錄,則 DADI 將根據(jù)trace提前把數(shù)據(jù)預(yù)取回本地,采用高并發(fā)讀取,更加高效。Trace 作為一個(gè)特殊的 layer 存于 image,專門用于加速,用戶不可見,未來可容納其他加速文件。如下圖綠色部分表示加速層、容納 trace 文件以及其他文件。

            image.gif

            5、按需 P2P 傳輸


            在我們的生產(chǎn)環(huán)境中,有幾個(gè)關(guān)鍵應(yīng)用程序已經(jīng)部署在數(shù)千臺服務(wù)器上,并且包含高達(dá)數(shù) GB 的 Layer,這些應(yīng)用程序的部署給 Registry 和網(wǎng)絡(luò)基礎(chǔ)設(shè)施帶來了巨大壓力。為了更好的處理此類大型應(yīng)用,DADI 將最近使用的數(shù)據(jù)塊緩存在每個(gè)宿主機(jī)的本地磁盤上,采用 P2P 的方式在主機(jī)之間傳輸數(shù)據(jù)。

            image.gif

            7.png


            1、采用樹形拓?fù)浣Y(jié)構(gòu)分發(fā)數(shù)據(jù)


            • 各個(gè)節(jié)點(diǎn)均緩存最近使用過的數(shù)據(jù)塊


            • 跨節(jié)點(diǎn)請求大概率命中父節(jié)點(diǎn)自己的 cache


            • 未命中的請求會遞歸向上傳遞,直到 registry


            2、拓?fù)浣Y(jié)構(gòu)由 root 節(jié)點(diǎn)動態(tài)維護(hù)


            • 每個(gè) layer 單獨(dú)一個(gè)傳輸拓?fù)?


            3、每個(gè)機(jī)房單獨(dú)部署一組 root


            • 多節(jié)點(diǎn)高可用架構(gòu)


            • 基于一致性哈希的分工


            大規(guī)模啟動耗時(shí)測試


            8.png


            我們將 DADI 容器啟動延遲與 .tgz 鏡像、Slacker、CRFS、LVM 和 P2P 鏡像下載進(jìn)行了比較,使用 DockerHub.com 上的 WordPress 鏡像,我們觀測單實(shí)例的冷啟動延遲,所有服務(wù)器和主機(jī)位于同一數(shù)據(jù)中心。如左圖所示,結(jié)果表明,使用 DADI 可以明顯減少容器的冷啟動時(shí)間。


            我們在公共云上創(chuàng)建了 1000 個(gè) VM,并將他們用做容器的主機(jī)。在每個(gè)主機(jī)上啟動 10 個(gè)容器,總共 10000 個(gè)容器。測試使用 Python 編寫的一個(gè)小程序 Agility,訪問 HTTP 服務(wù)器并在服務(wù)端記錄時(shí)間。如右圖所示,結(jié)果表明 DADI 的冷啟動在 3 秒之內(nèi)快速完成。


            DADI 在阿里巴巴的規(guī)?;\(yùn)行

            9.png


            DADI 已經(jīng)在阿里巴巴集團(tuán)規(guī)模化運(yùn)行,在阿里巴巴的生產(chǎn)環(huán)境內(nèi)大規(guī)模部署。數(shù)據(jù)顯示 DADI 在 10000個(gè)宿主機(jī)上啟動 10000 個(gè)容器僅需3-4 秒。DADI 完美應(yīng)對雙十一大促洪峰,目前在阿里巴巴集團(tuán)內(nèi)部已經(jīng)部署了接近十萬臺服務(wù)器宿主機(jī),支持集團(tuán) Sigma、搜索、UC 等業(yè)務(wù)在線、離線應(yīng)用超過 2 萬個(gè),極大提高了應(yīng)用發(fā)布、擴(kuò)容效率,體驗(yàn)如絲般順滑。我們在全球最大的電子商務(wù)平臺之一的生產(chǎn)環(huán)境中使用 DADI 的經(jīng)驗(yàn)表明,DADI 在提高部署應(yīng)用的敏捷性和彈性方面非常有效。


            擁抱開源,釋放云原生技術(shù)紅利

            現(xiàn)在,DADI 正在通過貢獻(xiàn)社區(qū)的方式更好地釋放云原生技術(shù)紅利,也希望與更多企業(yè)和開發(fā)者共建容器鏡像標(biāo)準(zhǔn)。 


            目前 DADI 已經(jīng)開放了支持 Contained(docker 尚不支持 remote image),支持節(jié)點(diǎn)直連 Registry + 本地緩存技術(shù),支持構(gòu)建、轉(zhuǎn)換鏡像。 


            未來還會開放 P2P 按需傳輸:將 P2P 子系統(tǒng)重新設(shè)計(jì)為 Registry 的延伸,將支持共享存儲,如 nfs、hdfs、ceph、glusterfs 等,全局 Registry +機(jī)房共享存儲 + 節(jié)點(diǎn)本地緩存 + P2P 數(shù)據(jù)傳輸,構(gòu)建機(jī)房內(nèi)緩存。 


            大家可通過查看以下 Github 的鏈接了解更多信息:


            • 控制平面 (for containerd):

            https://github.com/alibaba/accelerated-container-image


            • 數(shù)據(jù)平面(overlaybd):

            https://github.com/alibaba/overlaybd


            容器持久存儲的技術(shù)演進(jìn)


            存儲接入技術(shù)面臨的挑戰(zhàn)


            10.png

            上面我們談到了 Serverless 應(yīng)用架構(gòu)的新范式,現(xiàn)在我們看到一個(gè)趨勢,從虛擬機(jī)到普通容器,再逐漸演變?yōu)樯颀埪憬饘俨渴鸢踩萜?。從存儲的布局角度來看,其面臨的顯而易見的挑戰(zhàn)是更加高密和多租戶。 


            容器接入技術(shù)趨勢:計(jì)算層基于 ECS + 普通容器的架構(gòu)向基于神龍 + 安全容器架構(gòu)演進(jìn),單節(jié)點(diǎn)密度達(dá)到 2000,單實(shí)例規(guī)格最小粒度內(nèi)存 128MB,1/12 CPU。容器接入技術(shù)的趨勢,帶來了 I/O 資源放大的挑戰(zhàn)。 


            阿里云存儲在端接入上有自己的思考,存儲分為內(nèi)置存儲(鏡像和臨時(shí)存儲)和外置存儲(文件系統(tǒng)/共享文件系統(tǒng)、大數(shù)據(jù)文件系統(tǒng)、數(shù)據(jù)庫文件系統(tǒng)等)。 


            存儲系統(tǒng)如何和底層更好的連接?存儲接入容器的方式是通過 virtio 的能力卸載到神龍Moc 卡上,神龍 Moc 卡 + virtio 的通路和底層存儲服務(wù)更好的聯(lián)動。


            持久存儲 - 面向現(xiàn)代化應(yīng)用的彈性供給云盤 ESSD


            image.gif11.png


            ESSD 云盤為用戶提供高可用、高可靠、高性能的塊級隨機(jī)訪問服務(wù),并提供原生快照數(shù)據(jù)保護(hù)和跨域容災(zāi)等豐富的企業(yè)特性。 


            面向現(xiàn)代化應(yīng)用的彈性供給云盤 ESSD 具備兩個(gè)關(guān)鍵特性:


            • 云盤掛載密度提升 4 倍,單實(shí)例最大支持 64 塊云盤


            • 性能與容量完全解耦,用戶需求不需要預(yù)先設(shè)定,按需而定。


            舉例來說,為了應(yīng)對很多用戶面臨的問題:無法準(zhǔn)確預(yù)估業(yè)務(wù)峰值,在性能配置上難以做好精準(zhǔn)規(guī)劃。如果性能配置預(yù)留過高,會造成日常資源的大量閑置浪費(fèi);而如果性能預(yù)留不足,業(yè)務(wù)突發(fā)洪峰會造成業(yè)務(wù)受損。我們推出了 ESSD Auto PL 云盤,它支持性能指定配置的同時(shí),支持按業(yè)務(wù)負(fù)載自動伸縮,單盤可以自動提升到最高 100 萬 IOPS 性能,為不可預(yù)期的突發(fā)訪問提供安全便捷的性能自動配置。


            持久存儲 - 容器網(wǎng)絡(luò)文件系統(tǒng) CNFS


            針對容器中使用文件存儲的優(yōu)勢和挑戰(zhàn),阿里云存儲團(tuán)隊(duì)與容器服務(wù)團(tuán)隊(duì)共同推出了容器網(wǎng)絡(luò)文件系統(tǒng) CNFS,內(nèi)置在阿里云托管的 Kubernetes 服務(wù) ACK 中。CNFS 通過將阿里云的文件存儲抽象為一個(gè) K8s 對象(CRD)進(jìn)行獨(dú)立管理,包括創(chuàng)建、刪除、描述、掛載,監(jiān)控及擴(kuò)容等運(yùn)維操作,使用戶可以在享受容器使用文件存儲帶來的便捷的同時(shí),提高文件存儲的性能和數(shù)據(jù)安全,并提供容器一致的聲明式管理。


            12.png


            CNFS 在可訪問性、彈性擴(kuò)容、性能優(yōu)化、可觀測性、數(shù)據(jù)保護(hù)、聲明式等六個(gè)方面針對容器存儲進(jìn)行了深度優(yōu)化,使其與開源方案相比具有以下明顯優(yōu)勢:


            • 在存儲類型方面,CNFS 支持文件存儲,目前支持阿里云文件存儲 NAS


            • 支持 Kubernetes 兼容的聲明式生命周期管理,可以一站式管理容器和存儲


            • 支持 PV 的在線擴(kuò)容、自動擴(kuò)容,針對容器彈性伸縮特性優(yōu)化


            • 支持更好的和 Kubernetes 結(jié)合的數(shù)據(jù)保護(hù),包括 PV 快照、回收站、刪除保護(hù)、數(shù)據(jù)加密、數(shù)據(jù)災(zāi)備等


            • 支持應(yīng)用級別的應(yīng)用一致性快照,自動分析應(yīng)用配置和存儲依賴,一鍵備份、一鍵還原


            • 支持 PV 級別監(jiān)控


            • 支持更好的訪問控制,提高共享文件系統(tǒng)的權(quán)限安全,包括目錄級 Quota、ACL


            • 提供性能優(yōu)化,針對文件存儲的小文件讀寫,提供更優(yōu)化的性能


            • 成本優(yōu)化,提供低頻介質(zhì)及轉(zhuǎn)換策略,降低存儲成本


            最佳實(shí)踐


            數(shù)據(jù)庫容器化使用 ESSD 云盤高密掛載的最佳實(shí)踐


            13.png


            數(shù)據(jù)庫容器化使用 ESSD 云盤高密掛載的業(yè)務(wù)場景主要面臨的需求是:數(shù)據(jù)庫部署模式從虛擬機(jī)向容器化發(fā)展,持續(xù)提升彈性和可移植性,簡化部署。容器部署密度隨著 CPU 核數(shù)線性增長,需要持久化存儲提升掛載密度。數(shù)據(jù)庫作為 IO 密集型業(yè)務(wù),對單機(jī)存儲性能提出更高要求。 


            我們的解決方案是數(shù)據(jù)庫使用 g6se 存儲增強(qiáng)型實(shí)例,單實(shí)例提供最高 64 塊云盤掛載密度,g6se 存儲增強(qiáng)型實(shí)例,提供最高 100 萬 IOPS,4GB 存儲吞吐,適配單機(jī)高密部署的性能需求。 數(shù)據(jù)庫容器化使用 ESSD 云盤高密掛載的優(yōu)勢是:


            • 高密掛載:相比上代實(shí)例,云盤掛載密度提升 400%,提升數(shù)據(jù)庫實(shí)例單機(jī)部署密度。


            • 高性能:單機(jī)最高 100 萬 IOPS,多個(gè)云盤之間 IO 天然隔離,提供穩(wěn)定可預(yù)期讀寫性能。


            • 高彈性:ESSD 云盤 支持 IA 快照,快照立即可用實(shí)現(xiàn)只讀實(shí)例的秒級創(chuàng)建。


            • 高可靠性:云盤基于 9 個(gè) 9 數(shù)據(jù)庫可靠性設(shè)計(jì),同時(shí)支持快照、異步復(fù)制等數(shù)據(jù)保護(hù)手段,解決軟硬件故障帶來的數(shù)據(jù)安全風(fēng)向。


            Prometheus 監(jiān)控服務(wù)使用文件存儲的最佳實(shí)踐


            14.png

            image.gif

            Prometheus 的實(shí)現(xiàn)方式是Prometheus server 主要用于抓取和存儲數(shù)據(jù)。Client libraries 可以用來連接 server 并進(jìn)行查詢等操作,push gateway 用于批量,短期的監(jiān)控?cái)?shù)據(jù)的歸總節(jié)點(diǎn),主要用于業(yè)務(wù)數(shù)據(jù)匯報(bào)等。不同 exporter 用于不同場景下的數(shù)據(jù)收集,如收集 MongoDB 信息 MongoDB exporter。 


            Prometheus 的核心存儲 TSDB ,類似 LSM tree 的存儲引擎。我們看到一個(gè)趨勢,存儲引擎多節(jié)點(diǎn)數(shù)據(jù)同步,需要引入 Paxos 一致性協(xié)議。中小型客戶在管理引擎的時(shí)候,管理一致性協(xié)議的時(shí)候難度非常大,架構(gòu)將計(jì)算和存儲分離,計(jì)算是無狀態(tài)的,TSDB 的存儲的引擎釋放給分布式文件系統(tǒng),天然需要 NAS 共享文件系統(tǒng)。 


            Prometheus 監(jiān)控服務(wù)使用文件存儲的優(yōu)勢是:


            • 共享高可用:多 Pod 共享 NAS 持久化存儲,計(jì)算節(jié)點(diǎn) Failover 實(shí)現(xiàn)容器應(yīng)用的高可用。


            • 0 改造:分布式 POSIX 文件系統(tǒng)接口,無需任何改造


            • 高性能:支持并發(fā)訪問,性能滿足瞬間拉起索引查詢,同步進(jìn)行數(shù)據(jù)加載以及低時(shí)延索引查詢 + 寫入


            • 高彈性:存儲空間不需預(yù)配置,按需使用,按量計(jì)費(fèi),適配容器彈性能力


            總結(jié)


            面向容器和 Serverless Computing 的存儲創(chuàng)新發(fā)展驅(qū)動了存儲視角的新變化,整個(gè)存儲界面上移,開發(fā)者更加專屬于應(yīng)用本身,基礎(chǔ)設(shè)施的運(yùn)維盡量被托管。存儲供給的特性更加高密、彈性、極速。 


            以上為大家分享了阿里云容器存儲的技術(shù)創(chuàng)新,包括 DADI 鏡像加速技術(shù),為容器規(guī)?;瘑拥於撕芎玫幕A(chǔ),ESSD 云盤提供極致性能,CNFS 容器網(wǎng)絡(luò)文件系統(tǒng)提供極致的用戶體驗(yàn)。 


            隨時(shí)云原生創(chuàng)新序幕拉開,云原生存儲創(chuàng)新剛剛走出第一步,相信和各位行業(yè)專家一起開創(chuàng)和 Reinvent 存儲的創(chuàng)新機(jī)會。