火山引擎DataLeap:更强的数据目录搜索能力,做到一步找数
随着数据管理变得更加复杂,元数据的重要性呈指数级增加。
如今,Data Catalog(数据目录)被看成是元数据管理的最佳工具,而一个通用的Data Catalog平台,通常包含元数据管理,搜索,血缘,标签,术语等功能。
其中,搜索是Data Catalog的入口功能,承担着让用户“找到数”的主要能力。
通过汇总和组织各种元数据,火山引擎大数据研发治理套件DataLeap的Data Catalog系统,可以帮助企业梳理数据、查询数据和理解数据的业务场景。而在DataLeap的Data Catalog系统中,每天有70%以上的用户会使用搜索功能。
区别于需要指定具体资产类型,或在搜索结果页对不同的资产分栏显示的联合搜索,为了满足个性化、多语言、秒级实时性等需求,火山引擎DataLeap的Data Catalog的系统采用了个性化综合搜索的方案。
该综合搜索方案允许用户在同一个搜索框中进行搜索输入,而无需指定搜索的资产类型;同时,搜索服务会在同一个搜索结果页返回不同类型的相关资产,并根据匹配程度和用户的个性化数据,进行混合排序。不仅可以给到不同用户针对不同资产的搜索需求,提供高度统一的搜索体验,同时还提供了跨类型圈定资产的能力。
图:火山引擎DataLeap的Data Catalog系统整体架构
火山引擎DataLeap的Data Catalog搜索系统,采用了开源搜索引擎Elasticsearch,在海量数据下,其分布式的实时文件存储及实时分析搜索引擎,让每个字段都可以被索引且可用于搜索,可达到近实时秒级响应。同时,Elasticsearch采用的Restful api架构,天生的兼容多语言开发,且扩展能力强,可以处理PB级结构化或非结构化数据。
除了个性化的搜索需求,火山引擎DataLeap也支持单纯的列表模式,对于不要求精细度的查询需求,用户可以在此模式下,通过指定字段来对搜索结果进行简单排序。
未来,火山引擎DataLeap团队将进一步探索性能更完善的进阶搜索功能,包括查询语法功能的实现,以及血缘搜索和多租户之间模型的迁移。
除此之外,火山引擎DataLeap还可以提供数据集成、开发、运维、治理、资产等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数字化转型,目前已经应用于泛互联网、制造、新零售、汽车等领域,帮助数据团队有效的降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支撑。(作者:郭棋苑)
相关文章
- 火山引擎ByteHouse助力大地量子精准、高效预测天气
- ISC 2023技术高峰会召开,赛博昆仑创始人郑文彬分享网络空间对抗新观点
- 登顶2023年上半年新能源汽车质量“榜一大哥”,极狐汽车用实力说话
- 新华·AIGC人才培优工程暨“数字人”产品发布会圆满举行
- 那些把爱好当事业的人,最后怎么样了?
- 央视关注抖音反网暴举措,一键防暴等功能被关注
- 第二代The Freestyle三星随享智能投影仪开启预约登记,快来解锁多重专属好礼
- 合合信息借AI破解版面分析与还原难题 以科技创新解决实际应用
- 火山引擎首发“会表演”的有声内容创作平台
- 蒙牛的“2049”:更绿色,更营养,更智慧
- 让战力更“9”!掠夺者 · 擎Neo全新配置i9 HX版火爆预售中!
- 小天才旗舰Z9少年版即将上市!或成为中学生手表最佳选择!
- 蒙牛总裁五条锦囊畅享《奶业的世界2049》
- 挑战传统:AEKE领跑新时代的健康运动
- 相聚原神☆FES ROG化身福利官高能助力
- 鲲鹏×华鲲振宇×深信服,三方携手开启国产云平台新篇章
热门教程
Win11每次开机会检查tpm吗?Win11每次开机是否会检查tpm详情介绍
2系统之家装机大师怎么用?系统之家装机大师使用教程
3Win11正式版怎么安装安卓APK应用?Win11安装安卓APK文件方法
4Win10 21H1更新KB5003637后任务栏不能在底部显示怎么办?
5Win11电脑下载的文件被自动删除怎么办?
6Win11资源管理器的样式如何切换?Win11资源管理器样式切换方法
7Win11蓝屏怎么修复?win11蓝屏修复教程
8老电脑怎么装win11系统?老电脑一键升级Win11系统教程
9Win11正式版如何固定“此电脑”到任务栏?
10Win10和Win11哪个好用?Win10和Win11区别介绍
装机必备 更多+
重装教程
大家都在看
电脑教程专题 更多+