关闭 x
IT技术网
    技 采 号
    ITJS.cn - 技术改变世界
    • 实用工具
    • 菜鸟教程
    IT采购网 中国存储网 科技号 CIO智库

    IT技术网

    IT采购网
    • 首页
    • 行业资讯
    • 系统运维
      • 操作系统
        • Windows
        • Linux
        • Mac OS
      • 数据库
        • MySQL
        • Oracle
        • SQL Server
      • 网站建设
    • 人工智能
    • 半导体芯片
    • 笔记本电脑
    • 智能手机
    • 智能汽车
    • 编程语言
    IT技术网 - ITJS.CN
    首页 » 算法设计 »字节跳动数据平台论文被ICDE2023国际顶会收录,将通过火山引擎开放相关成果

    字节跳动数据平台论文被ICDE2023国际顶会收录,将通过火山引擎开放相关成果

    2023-05-16 17:37:59 出处:IT技术网
    分享

    近期,第39届IEEE数据工程国际会议(以下简称ICDE )在美国加利福尼亚召开,由字节跳动数据平台和华东师范大学合作提交的论文聚焦数据库领域,提出 WaLSM架构设计、优化和性能提升的创新技术方案,成功被大会收录。

    ICDE是全球数据库领域的三大会议之一,重点面向数据工程和数据密集型系统研究人员, 致力于解决设计、构建、管理和评估高级数据密集型系统和应用程序方面的研究问题,也是研究人员、从业者、开发人员和用户探索前沿思想并交流技术、工具和经验的领先论坛。

    据介绍,本次 ICDE 吸引了大约700人参与,共接收256篇论文,其中14篇为数据库系统相关研究。作为数据库系统的研究成果之一,字节跳动数据平台投递的论文《Workload-Aware Log-Structured Merge Key-Value Store for NVM-SSD Hybrid Storage 》,重新设计 WaLSM,针对真实负载具备强访问倾斜性的特点,结合 DRAM-NVM-SSD 存储系统优势,提出自适应的 LSM-tree 调优方案,具备极强的技术创新性,因而被ICDE收录。

    图片1.png

    字节跳动专家团队在ICDE 2023展区

    该项成果的创新性在于,WaLSM 提出了一种几乎无额外开销的数据分区方式,对硬盘上的数据进行分区,降低 Merge 策略调整粒度,增加了针对硬盘上负载捕捉访问模式的能力。以分区为单位,WaLSM 在真实负载下基于强化学习算法,支持自适应地调整各个分区使用的 Merge 策略,以更好实现写放大与查询收益之间的平衡。

    值得一提的是,此次论文中的成果未来将通过ByteHouse对外开放。ByteHouse是火山引擎数智平台旗下的一款云原生数据仓库,支撑实时数据分析、海量数据离线分析,为用户提供极速体验,而WaLSM 的自适应调整算法可以帮助 ByteHouse 根据真实负载中的数据热点找到全局较优的 Merge 策略,降低 IO 开销,最终提升MergeTree 存储引擎的整体吞吐量。

    据介绍,字节跳动在2017年就开始大规模启用ClickHouse,并拥有着国内规模最大的ClickHouse集群。面向ToB市场推出的ByteHouse则是字节跳动在大量经验实践上,对ClickHouse深度优化、自研改造的成果。

    从架构上来看,ByteHouse采用了自研的高可用引擎,支持数据实时更新、删除,新增了自研的查询优化器,并且在集群的运维和多表关联的场景都做了相应的增强,保证用户在复杂查询的场景下具备更高的查询效能。

    目前,海王集团、中国地震台网中心等行业的客户都已与火山引擎ByteHouse达成合作,通过海量数据实时分析的极速服务,辅助决策落地,加速业务洞察,更好更快地实现数智化升级。(作者:刘微)

    上一篇返回首页 下一篇

    声明: 此文观点不代表本站立场;转载务必保留本文链接;版权疑问请联系我们。

    别人在看

    正版 Windows 11产品密钥怎么查找/查看?

    还有3个月,微软将停止 Windows 10 的更新

    Windows 10 终止支持后,企业为何要立即升级?

    Windows 10 将于 2025年10 月终止技术支持,建议迁移到 Windows 11

    Windows 12 发布推迟,微软正全力筹备Windows 11 25H2更新

    Linux 退出 mail的命令是什么

    Linux 提醒 No space left on device,但我的空间看起来还有不少空余呢

    hiberfil.sys文件可以删除吗?了解该文件并手把手教你删除C盘的hiberfil.sys文件

    Window 10和 Windows 11哪个好?答案是:看你自己的需求

    盗版软件成公司里的“隐形炸弹”?老板们的“法务噩梦” 有救了!

    IT头条

    公安部:我国在售汽车搭载的“智驾”系统都不具备“自动驾驶”功能

    02:03

    液冷服务器概念股走强,博汇、润泽等液冷概念股票大涨

    01:17

    亚太地区的 AI 驱动型医疗保健:2025 年及以后的下一步是什么?

    16:30

    智能手机市场风云:iPhone领跑销量榜,华为缺席引争议

    15:43

    大数据算法和“老师傅”经验叠加 智慧化收储粮食尽显“科技范”

    15:17

    技术热点

    商业智能成CIO优先关注点 技术落地方显成效(1)

    用linux安装MySQL时产生问题破解

    JAVA中关于Map的九大问题

    windows 7旗舰版无法使用远程登录如何开启telnet服务

    Android View 事件分发机制详解

    MySQL用户变量的用法

      友情链接:
    • IT采购网
    • 科技号
    • 中国存储网
    • 存储网
    • 半导体联盟
    • 医疗软件网
    • 软件中国
    • ITbrand
    • 采购中国
    • CIO智库
    • 考研题库
    • 法务网
    • AI工具网
    • 电子芯片网
    • 安全库
    • 隐私保护
    • 版权申明
    • 联系我们
    IT技术网 版权所有 © 2020-2025,京ICP备14047533号-20,Power by OK设计网

    在上方输入关键词后,回车键 开始搜索。Esc键 取消该搜索窗口。