网易开源分布式存储系统 Curve,性能彪悍!

网易这回良心了:

7月16日,网易公司旗下云服务商网易数帆宣布开源一款名为 Curve 的高性能分布式存储系统,官方称其性能可达 Ceph 的 1.84 倍。

据官方介绍,Curve 的定位是提供一个高性能、低延迟的存储底座,基于这个存储底座,企业可以打造适用于不同应用场景的存储系统,如块存储、对象存储、云原生数据库等。

CURVE 的设计开发始终围绕三个理念:

一是顺应当前存储硬件设施发展趋势,做到软硬件结合打造顶级的存储产品;

二是秉持 “Simple Can be harder than complex”,了解问题本质情况下选择最简单的方案解决问题;

三是拥抱开源,在充分调研的前提下使用优秀的开源项目组件,避免造轮子。

当前网易基于 CURVE 已经实现了高性能块存储系统,支持快照克隆和恢复 ,支持 QEMU 虚拟机和物理机 NBD 设备两种挂载方式, 在网易内部作为高性能云盘使用。

目前,网易数帆已经实现了高性能块存储系统。根据项目文档介绍,Curve 主要具有三大特性:高性能、高可用和自治

1、高性能

Curve 团队参考了业界一些高效的开源存储系统,设计了一个新架构以实现高性能低延迟的核心能力。采用 brpc 保证网络数据流的高性能和低延迟,基于 braft 实现多副本一致性下的低延迟,并对 braft 的快照实现进行了进一步的优化。

磁盘 IO 方面,Curve 通过更细粒度的地址空间的 hash 减少 IO 碰撞,增加 IO 并发度,并采用 chunkfilepool 减小 IO 放大倍数,从而最大限度地发挥硬件的性能。

网易公布了 Curve 和 Ceph L 版本的测试数据对比,在单卷的场景下,核心的 4K 随机读/写的IOPS 性能,Curve 分别是 Ceph 的 1.84 倍和 1.58 倍,同时延迟相比 Ceph 分别降低 48.39%和 37.50%。

图:Curve与Ceph性能测试对比

2、高可用

Curve 被设计为核心组件都能容忍部分实例失败而不影响整个集群的可用性。

网易介绍,无论是单台存储故障,还是系统扩容,Curve 的客户端 IO 都不会受到影响,插拔硬盘、服务进程中断这些常见异常,IO 抖动也很小。

当然,故障恢复过程对上层 IO 也不会造成明显影响。

3、自治

Curve 可实现一键部署、一键升级,运维只要很少的人工干预,并基于 bvar、Promethues 和 Grafana 等开源项目打造了全面的度量标准和告警体系。

目前,基于 Curve 的高性能块存储系统已经应用在网易的一些核心业务中,支持快照克隆和恢复, 支持 QEMU 虚拟机和物理机 NBD 设备两种挂载方式。

网易介绍,系统上线至今 400 多天,尚未出现数据不一致和丢数据的情况,也没有发生过重大故障,具备相当的可靠性和成熟度。

网易透露,Curve 目前还有一些创新的性能优化工作尚未完成,如细粒度哈希、io_uring 落盘方案,项目团队下一阶段的主要任务就是解决这些问题,预计完成优化之后下个版本还会有 30% 的性能提升。

鉴于目前开源领域还没有足够高性能和低延迟的分布式存储系统,网易数帆方面表示希望把 Curve 开源出来,回馈社区,让业界一起来使用它,也希望大家一起参与把 Curve 打造得越来越好。

*开源地址: *

https://github.com/opencurve/curve

文章整理转载自 OSCHINA 社区 [http://www.oschina.net\] www.oschina.net/news/117237/netease-opensource-curve https://www.oschina.net/p/curve

关注公众号Java技术栈回复"面试"获取我整理的2020最全面试题及答案。

推荐去我的博客阅读更多:

1.Java JVM、集合、多线程、新特性系列教程

2.Spring MVC、Spring Boot、Spring Cloud 系列教程

3.Maven、Git、Eclipse、Intellij IDEA 系列工具教程

4.Java、后端、架构、阿里巴巴等大厂最新面试题

觉得不错,别忘了点赞+转发哦!

最后,关注下面的栈长的微信公众号:Java技术栈,回复:福利,可以免费获取一份我整理的 2020 最新 Java 面试题,真的非常全(含答案),无任何套路。

Ceph 分布式存储入门实践篇(基础架构之六)

05-10
Ceph是一个可靠的、数据自动重均衡、自动恢复的SDS(软件定义存储)分布式存储系统,功能主要有三大块:块存储、对象存储、文件系统。 Ceph不但是提供了统一存储,并且同时还充分利用了客户端的计算能力,在存储每一个数据时,都会通过计算得出该数据存储的位置,尽量将数据分布均衡,同时由于Ceph的设计,采用了CRUSH算法、HASH环等方法,使得它不存在传统的单点故障的问题,且随着规模的扩大性能并不会受到影响。 不管是私有云还是公有云,随着云架构的发展,Ceph 成为了OpenStack、Proxmox标配的后端存储,不光如此,就连目前最火的容器编排 Kubernetes 持久存储也都支持 Ceph ,让 Ceph 成为当前主流的存储系统,而对 Ceph 存储的学习也就变的刻不容缓。   该课程属于比较基础的 Ceph 存储课程,旨在让大家能快速上手对 Ceph 集群的部署以及操作,主要讲解以下几个方面:   1.     架构的介绍 2.     集群的多种部署方式 3.     块存储部署,客户端使用及快照、克隆和镜像 4.     对象存储的部署及简单使用 5.     Ceph FS 文件系统的部署、客户端使用及导出为NFS 6.     集群的操作和管理,包括服务,集群扩展,缩减和集群维护 7.     Ceph 基础知识的介绍,包括集群map,PG和身份验证 8.     Ceph 集群的监控
©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值