- YRCloudFile 軟件
- 高性能分布式文件存儲 YRCloudFile
存儲挑戰(zhàn)
混合云數(shù)據(jù)訪問
自動駕駛用戶大都采用混合云 IT 架構(gòu)，數(shù)據(jù)訪問涉及在公有云和私有云之間同步數(shù)據(jù)。這種訪問模式面臨數(shù)據(jù)的快速傳輸、訪問延遲和數(shù)據(jù)一致性的挑戰(zhàn)。
增量數(shù)據(jù)巨大
隨著越來越多的雷達、攝像頭等傳感器被部署在車輛里，一輛自動駕駛的汽車每天生成可達到 3-10 TB 的數(shù)據(jù)。
高 IOPS 低時延訪問需求
自動駕駛業(yè)務大都使用 GPU 對數(shù)據(jù)進行分析，模型訓練以及仿真測試。在訓練中，由于 GPU 反復讀取數(shù)據(jù)，因此需要存儲提供高 IOPS 和低網(wǎng)絡(luò)延遲的文件 IO 訪問。
數(shù)據(jù)流動時間長
當數(shù)據(jù)規(guī)模達到數(shù)十 TB 以后，在業(yè)務流程中，數(shù)據(jù)在每個環(huán)節(jié)都需要經(jīng)歷傳統(tǒng)的拷貝方式，導致業(yè)務等待時間較長，嚴重阻礙智駕模型快速迭代。
解決方案
在深入了解自動駕駛?cè)珮I(yè)務流程存儲管理的痛點后，焱融科技提出“混合云存儲”解決方案。搭建本地到云端的跨云架構(gòu)方案，路測數(shù)據(jù)作為原始數(shù)據(jù)，傳統(tǒng)的“大容量存儲-高性能存儲-大容量存儲”的拷貝方式，通過獨有的 DataLoad 技術(shù)實現(xiàn)統(tǒng)一管理，按照業(yè)務發(fā)展需要按需流轉(zhuǎn)，自動化管理。用戶可根據(jù)業(yè)務數(shù)據(jù)規(guī)模來調(diào)整策略，實現(xiàn)“業(yè)務驅(qū)動數(shù)據(jù)”的工作模式，摒棄傳統(tǒng)人工或者腳本運維的原始方式。
方案優(yōu)勢
高擴展海量數(shù)據(jù)存儲
可擴展 MDS 架構(gòu)，實現(xiàn)數(shù)據(jù)隨業(yè)務增長的擴展能力，提升海量文件并發(fā)訪問性能，實現(xiàn)自動駕駛處理海量數(shù)據(jù)的能力。
高性能技術(shù)加速模型迭代
焱融文件存儲 YRCloudFile 支持 NVIDIA GPUDirect Storage（GDS），進一步提升訓練模型迭代速度。結(jié)合 YRCloudFile 并行架構(gòu)，有效提升存儲性能。
多云協(xié)同 實現(xiàn)數(shù)據(jù)高效流轉(zhuǎn)
DataLoad 功能，打通數(shù)據(jù)鴻溝，支持直接將任意對象存儲中的數(shù)據(jù)通過文件接口訪問，滿足混合云存儲業(yè)務架構(gòu)部署要求，實現(xiàn)數(shù)據(jù)互通和流轉(zhuǎn)，為混合云計算架構(gòu)提供數(shù)據(jù)支撐。
全棧網(wǎng)絡(luò)兼容
在連接計算和存儲的網(wǎng)絡(luò)上，焱融高性能分布式文件存儲系統(tǒng) YRCloudFile 支持全棧網(wǎng)絡(luò)，包括以太網(wǎng)和 InfiniBand，全面覆蓋行業(yè)所有網(wǎng)絡(luò)要求。
智能分層 有效平衡成本和性能
為了降本增效，自動化駕駛?cè)珮I(yè)務流程可使用 YRCouldFile 文件存儲智能分層功能，自定義冷熱數(shù)據(jù)策略，數(shù)據(jù)在冷熱數(shù)據(jù)層之間流動對業(yè)務完全透明，能有效地對成本和性能做好平衡。