在万物互联时代,无论是工厂中实时产生的大规模生产数据,还是每个人手机中不断更新的个性化推荐视频,都离不开对海量数据的存储和调用。
面对数据的爆炸式增长,如何降低海量数据的存储成本?如何基于数据的统一管理和存储,加强数据间的流转?当存储的硬件升级速度超过软件,如何运用新的存储架构真正释放硬件性能?如何通过存储和计算的分离,实现资源的灵活高效利用,并满足高吞吐低延迟的存储需求?针对国产化替代的新需求,如何通过自研软件来真正释放国产硬件的存储性能?
针对存储行业的五大难题,近日,在2023年京东云城市峰会广州站上,京东云推出了下一代分布式存储平台——云海。
云海是京东云基于云原生理念自主研发的新一代分布式存储系统,在历经了京东自身复杂的多场景历练后,云海不仅能满足各行业对云盘高性能、低延时的业务诉求,还通过打造存算分离技术架构,可为客户节省整体基础设施成本超30%。此次推出的下一代分布式存储平台,能够基于现有的国产软硬件,提供高性能的存储,实现国产软硬件的真替真用。
如何通过存算分离优化存储资源,保证高性能和低成本?
随着日益严格的数据监管要求,海量数据的长期保存需求进一步推高了存储成本,如何提升存储资源的利用率、降低存储成本已成为企业IT基础设施建设的重要议题。
在传统的存算一体架构下,资源利用率不均、存储成本高、资源共享难是亟待解决的难题。与此同时,传统的分布式存储由于在延迟指标上表现不佳,难以满足很多业务所需的高性能要求。
对此,云海以统一存储引擎为底座,支持在一个存储集群里同时提供“块、对象、文件、大数据、并行文件”的五合一的存储,实现数据互通下的统一管理,全面优化存储资源。
在此基础上,作为国内最大规模使用QLC(Quad-Level Cell,四层式存储单元)的云厂商,京东云通过超低延时RDMA、创新性高容错分布式一致性协议、用户态NVME,不仅实现了单实例读写延迟至200μs以内,单盘提供100万级IOPS的极致性能,也使得存储和计算解耦,自研的存算分离架构为企业带来更高的存储可靠性和资源扩展灵活性,成功将磁盘利用率提升至90%,全面满足高性能计算、AI训练、大数据底层存储以及音视频、图片、数据报表、灾备存储等复杂需求场景。
在2022年的618大促中,云海的存算分离系统架构,使得原本由于性能问题很难全面实施的存算分离得以落地,在满足低延时、高并发业务需求的同时,还带来50%以上的成本降低。
如何通过自研分布式存储引擎,实现国产软硬件真替真用?
在国产化背景下,目前市面上的开源存储技术基本来自于国外大厂,合规风险很高,亟需自主可控的存储技术和产品来实现真替真用。
但在实际的应用过程中,由于缺乏政企客户在核心业务场景中的真实替换实践,很多自研的传统分布式存储架构在与国产硬件的结合中,不仅性能衰减明显,也常常无法匹配用户业务的具体需求。
得益于京东多年来在零售、物流、金融、健康、工业等多元化业态的极致场景历练,目前京东80%的应用已支持在国产化基础设施上稳定运行,实现了产业级的真替真用。
在覆盖京东内部核心业务场景的同时,京东云云海还与飞腾、鲲鹏、海光平台等国产硬件完全适配,为政企客户成功提供了接近x86水平的存储性能指标,实现国产硬件能力的充分发挥,可快速替换原有非国产化环境的各类存储产品,实现真替真用。
基于开放生态,云海正与行业合作伙伴共同打造联合解决方案
除了自研的分布式存储系统,云海还可基于开放的SDK,与行业合作伙伴共同打造联合解决方案。
目前,在云海高可靠、高性能、高性价比的能力支撑下,第三方伙伴可以基于开放SDK,打造适配各种业务场景的存储产品,现在云海已经与多家服务器硬件厂商、操作系统厂商、存储芯片厂商、数据库厂商、灾备厂商、第三方云厂商进行了深入合作,通过纯软授权、软硬一体机独立交付等方式,为客户提供了丰富的行业解决方案,满足各行业多种业务对存储的使用需求。
未来,京东云云海将继续深耕产业,针对政府、医疗、金融、汽车等多个行业的特定场景,不断满足当下对数据存储性能与性价比不断提高的需求,为建立一个真正万物互联的世界打下了坚实基础。