当OLAP碰撞Serverless,看ByteHouse如何建设下一代云计算架构
作为云计算的下一个迭代,Serverless 可以使开发者更专注于构建产品中的应用,而无需考虑底层堆栈问题。伴随着近年来相关技术成熟度的增加,市场对 Serverless 的接受程度也变得越来越高。可以说时至今日,Serverless 已迈入了向成熟稳定方向发展的高速轨道。
作为一款火山引擎推出的云原生数据仓库,ByteHouse 基于开源 ClickHouse 构建,并在字节跳动内外部场景的检验下,对 OLAP 引擎能力、性能、运维、架构进一步升级。除此之外,ByteHouse 也在 Serverless 方向探索,基于 cloud-native 云原生的理念构建了全新一代的数据仓库,架构上进行了三层解耦,期望在 Serverless 的加持下,提供更稳定、可靠、可信的分析服务,让开发人员时间精力从基础设施运维优化上解放,更聚焦在核心业务功能中。
然而,在 OLAP 领域的 Serverless 技术实现上,仍然存在一些技术难点。
OLAP 数据分析涉及到存储、网络、操作系统、数据库、AI 等 IT 领域几乎全栈的技术点,需要厂商做持续的、高成本的研发投入。而且这些投入短期内难见市场回报,一旦中途停顿则意味着前期的投入全都“打水漂”。
其次,虽然已经有几款商用的 Serverless 架构的数据仓库,但是其提供的算力规模很难支撑中大型规模的数据仓库或者分析平台的需求。也就是说,Serverless 架构的数据仓库还需要在算力上做进一步的提升。
Serverless 的规模化应用还面临服务标准化的问题。没有标准化的规范会导致用户被平台锁定,无法实现应用的平移、无缝搬迁。因此,为了推动 Serverless 的规模化应用,需要有与之配套的标准和规范体系。
为了更好解决以上难点,火山引擎ByteHouse逐步向 Serverless 架构演进,并针对存储层、中间层以及云服务层进行三层架构解耦。
ByteHouse向 Serverless演进的技术架构
在存储层的设计中,ByteHouse实现了Serverless化、弹性伸缩、容量无限扩展。为提升存算分离架构下的性能问题,ByteHouse针对HDFS语义优化,让带宽仅增加10%的情况下,延迟减少3倍,并在网络通信上, 采用连接复用、RDMA、传输压缩等技术,大幅缓解了网络放大问题。
在中间层,ByteHouse通过按读写进行隔离、按应用类别进行隔离等方式实现负载隔离,在满足用户基本需求的情况下,实现架构逐步向Serverless演进。
在上层的cloud services 云服务层,ByteHouse提供集中化的catalog 元数据服务、集群管理服务等,让元数据从计算层解耦,实现了无状态化,获得秒级的弹性伸缩和启停能力。
Serverless 在 OLAP 领域的应用依然面临一些挑战,但随着技术的不断演进和迭代,标准化的规范体系的建立和完善,ByteHouse将持续探索和应用Serverless架构优势,为行业和用户提供更优质的数据分析服务。(作者:杨博帆)
相关文章
- 抖音电商喊你来答卷!快来测测你的图文免佣经营能得多少分!
- Garmin佳明发布quatix 7 Pro航海商务智能腕表,于陆地之外乘风破浪
- 揭秘抖音打拐团队:报案157起,34人被抓获
- 以色彩构筑新意空间,安华卫浴2023品牌主视觉焕新发布
- 爱企查显示:美团申请“大象智体”商标
- 东菱电蒸锅新品上市,汽锅烹饪少油低嘌呤,全家尽享健康美味
- 0.6秒!手机跑Stable Diffusion创下最快速度,而这仅仅是开始
- 箭牌家居数智化实力成行业“排头兵”,“智能+绿色”成就斐然
- 探秘电视显示技术,这家企业的创新实验室大有来头
- OPPO正式发布自主训练的大模型AndesGPT,大模型应用生态初露曙光
- 腾讯多媒体实验室发布VR白皮书:沉浸式观影全新升级,已落地文旅等多领域
- 2023 OPPO开发者大会正式开幕,ColorOS 14亮相,手机流畅进入「最后一公里」比拼
- 通过多项严苛测试 探索三星Galaxy Z Flip5超强耐用性的秘密
- AI技术光芒四射!云天励飞发布国内首创14nm Chiplet大模型推理芯片
- 换季进行时 三星BESPOKE缤色铂格系列产品筑起家庭健康防线
- 小米电视怎么看腾讯的电影电视剧?想看腾讯的综艺在哪看?
热门教程
Win11每次开机会检查tpm吗?Win11每次开机是否会检查tpm详情介绍
2系统之家装机大师怎么用?系统之家装机大师使用教程
3Win11正式版怎么安装安卓APK应用?Win11安装安卓APK文件方法
4Win10 21H1更新KB5003637后任务栏不能在底部显示怎么办?
5Win11任务栏空白怎么办?Win11任务栏空白解决办法
6Win10家庭版笔记本电脑怎么关闭Windows defender功能?
7Win11电脑下载的文件被自动删除怎么办?
8Win11资源管理器的样式如何切换?Win11资源管理器样式切换方法
9Win11蓝屏怎么修复?win11蓝屏修复教程
10Win11正式版如何固定“此电脑”到任务栏?
装机必备 更多+
重装教程
大家都在看
电脑教程专题 更多+