- YRCloudFile 軟件
- 高性能分布式文件存儲(chǔ) YRCloudFile
存儲(chǔ)挑戰(zhàn)
海量數(shù)據(jù)處理
基于機(jī)器學(xué)習(xí)的金融量化業(yè)務(wù)，其數(shù)據(jù)量規(guī)模大，并呈現(xiàn)急劇增長(zhǎng)趨勢(shì)，對(duì)于高性能存儲(chǔ)橫向擴(kuò)展的需求日漸突出。
高吞吐高 IOPS
大量的模型開(kāi)發(fā)和訓(xùn)練的計(jì)算能力對(duì)于底層數(shù)據(jù)吞吐和 IOPS 提出了更高的挑戰(zhàn)。
數(shù)據(jù)一致性和可靠性
確保數(shù)據(jù)的一致性、持久性和可靠性對(duì)金融量化業(yè)務(wù)至關(guān)重要。存儲(chǔ)系統(tǒng)需嚴(yán)格滿足這些要求，以防數(shù)據(jù)丟失或損壞對(duì)業(yè)務(wù)造成影響。
量化訓(xùn)練業(yè)務(wù)容器化
越來(lái)越多的機(jī)構(gòu)和企業(yè)選擇將訓(xùn)練過(guò)程部署在容器中，這一趨勢(shì)導(dǎo)致了對(duì)容器化存儲(chǔ)的需求顯著擴(kuò)增。
成本管理
金融交易公司需要在性能和成本之間找到平衡點(diǎn)，保證存儲(chǔ)系統(tǒng)既能夠滿足業(yè)務(wù)需求，又能夠在合理的成本范圍內(nèi)運(yùn)行。
彈性擴(kuò)展
存儲(chǔ)系統(tǒng)需要具備彈性擴(kuò)展能力，以便能夠適應(yīng)不斷變化的需求。
解決方案
結(jié)合金融量化的業(yè)務(wù)特點(diǎn)，焱融高性能分布式文件存儲(chǔ) YRCloudFile 為該行業(yè)客戶提供高效、高可靠、高擴(kuò)展的數(shù)據(jù)存儲(chǔ)和管理解決方案，輕松應(yīng)對(duì)量化模型訓(xùn)練中海量訓(xùn)練數(shù)據(jù)集的處理以及快速 I/O 響應(yīng)需求，大大提升業(yè)務(wù)效率。此外，通過(guò)持久化的容器存儲(chǔ)和企業(yè)級(jí)存儲(chǔ)功能，保障業(yè)務(wù)連續(xù)性和數(shù)據(jù)穩(wěn)定性。
方案優(yōu)勢(shì)
海量數(shù)據(jù)支持
YRCloudFile 文件系統(tǒng)并行的分布式架構(gòu)、獨(dú)立可擴(kuò)展的元數(shù)據(jù)服務(wù)、業(yè)務(wù)層無(wú)感知的橫向擴(kuò)展，可提供高性能的海量文件讀寫(xiě)能力；全對(duì)稱、可擴(kuò)展的元數(shù)據(jù)集群架構(gòu)，在面對(duì)數(shù)百億文件時(shí)，客戶端對(duì)元數(shù)據(jù)的操作性能及讀寫(xiě)性能仍然保持持續(xù)穩(wěn)定。
高性能低時(shí)延
采用分布式架構(gòu)，數(shù)據(jù)及元數(shù)據(jù)節(jié)點(diǎn)可按需擴(kuò)展，實(shí)現(xiàn)容量與性能均線性增長(zhǎng)。支持 NVIDIA GPUDirect Storage（GDS）功能，顯著降低 I/O 延遲，提升數(shù)據(jù)帶寬，將性能發(fā)揮到極致，輕松應(yīng)對(duì)量化交易場(chǎng)景下的數(shù)據(jù)問(wèn)題。
容器持久化存儲(chǔ)
支持 CSI 對(duì)接 Kubernetes 集群，提供高效、可靠的容器持久化存儲(chǔ)服務(wù)，同時(shí)支持多種容器特性，使得容器平臺(tái)使用、監(jiān)控、管理存儲(chǔ)資源變得更加的靈活高效。
高性能網(wǎng)絡(luò)優(yōu)化
YRCloudFile 支持 100GE RoCE、200/400Gbps InfiniBand 等高速網(wǎng)絡(luò)及支持 RDMA、多網(wǎng)卡聚合技術(shù)，為機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)提供超高的帶寬能力，可實(shí)現(xiàn)單存儲(chǔ)節(jié)點(diǎn) 90GBps 帶寬、300 萬(wàn) IOPS 極致性能。
數(shù)據(jù)權(quán)限管理的支持
YRCloudFile 具備完善的權(quán)限管理和數(shù)據(jù)隔離功能，滿足量化特殊業(yè)務(wù)場(chǎng)景下數(shù)據(jù)和研究成果的保護(hù)和使用。