产品解读 | 分布式多模数据库:KaiwuDB

2023-09-18 16:01:25

1.KaiwuDB 是什么?

KaiwuDB 是由浪潮创新研发的一款分布式、多模融合,支持原生 AI 的数据库产品,拥有“就地计算”等核心技术,具备高速写入、极速查询、SQL 支持、随需压缩、智能预计算、订阅发布、集群部署等特性,具有稳定安全、高可用、易运维等特点。
在这里插入图片描述

2.KaiwuDB 设计理念

在当今数据爆炸的时代,企业和组织面临着如何处理并用好海量数据的巨大挑战。传统的数据处理方式难以满足激增的数据量及包括极致压缩、实时处理、高效分析、数据价值挖掘等在内的延伸需求。
在这里插入图片描述
为助力用户应对这一巨大挑战,KaiwuDB 以**“快人一步”**为设计理念,希望提供一款真正“好用抗打”的数据库产品:

  • 面对处理海量数据的挑战,利用就地计算实现对数据**“快”**速分析查询;
  • 产品最终是服务于**“人”**,也就是我们的用户。一款产品好不好,最终一定是用户说了算;
  • 数据库只是应用环节中的一环,提供**“一”**站式整体解决方案,才能更好地解决用户业务难点;
  • 分**“布”**式不是一个可选项,而是一个必选项。

► 就地计算,实现高性能读写

传统的数据处理方式需要多次数据转换,如果应用上没有大量的并发更新,例如时序数据,此种方式将会带来额外的性能开销。内存数据库虽可解决这个问题,但仍受内存大小的限制,无法高效处理大量数据,并且在扩展性上也有问题。

正是基于这种现状,KaiwuDB 推出**“就地计算”**核心技术,通过该技术能够很好将磁盘和内存融为一体,打破传统数据库从磁盘读取数据到内存再进行处理的模式,直接在磁盘上进行计算,避免了数据的多次转换和移动。
在这里插入图片描述
换言之,KaiwuDB 把计算推向数据,而不是把数据移向计算,这既提高了数据处理的效率,也避免因数据移动而造成的性能损失。

KaiwuDB 可支持**每秒 100 万记录入库操作;千万记录复杂查询毫秒内可完成;20 亿记录数据探索 1 秒内完成;500 万记录数据可实现 15 层下钻。**上述能力都已在先前与用户的合作中得到验证。

► 多模架构,实现“化繁为简”

国内数据库市场多库应用场景越来越常见,但这种模式带来了众多使用问题:对于开发者,需要求其具备不同模型开发的最佳实践与扎实技术;对于 DBA,需清晰明确不同数据库的运维规则,开发运维成本高;此外,数据在不同库之间的传输和转换会涉及多副本管理,数据在转换传输间容易出错,且在性能和一致性上也非常难以得到保证。

针对上述现状,KaiwuDB 通过**“多模架构”,真正实现“化繁为简”**:

  • 多模数据库支持不同类型的数据在同一个数据库中统一存储、统一处理;
  • 统一的算子定义融合不同模型的计算引擎,便于引擎扩展;
  • 统一的通信协议(共享内存、gPRC)融合不同部署模型下的算子通信;
  • 多模 SQL 优化器/执行器支持多种粒度的算子(原子算子或者子计划)下推;
  • 模型的自动选择和自动转换,始终以最高效的方式处理数据。
    在这里插入图片描述

KaiwuDB 基于统一的 SQL 语法、统一的数据库命令、开发运维工具、安全认证等实现真正多模融合,高性能时序引擎、灵活部署机器学习引擎。依托“就地计算”、"原生 AI”等核心技术支持时序数据、内存数据、关系型数据在同一数据库中统一汇存、处理及 AI 智能分析,“一库多用”把原本复杂化的数据存储管理流程大大简化。

多模架构下,开发人员只需应对一款数据库,运维人员只需运维一个脚本,从多库到多模极大降低用户开发运维成本,真正实现“降本提效”。

3.KaiwuDB 核心功能

(1)高性能写入
依托“就地计算”核心技术实现高性能读写,支持百万级,甚至千万级记录秒级写入;支持毫秒级精度数据写入;

(2)实时查询与分析
支持数据实时分析,千万笔数据聚合查询毫秒级响应,提供丰富的函数支持能力;

(3)多模数据支持
时序型数据、关系型数据采、存、算、管;支持数据跨模分析;

(4)低成本存储
10 -100 倍数据压缩;数据降采样存储;按“时间热度” 进行数据生命周期管理;

(5)流式计算
支持多种物联网应用场景下流式计算功能;支持连续查询、数据订阅发布功能;

(6)云边端一体化
支持端侧轻量化部署;具备集群部署、数据同步、数据订阅等能力,支撑云边端一体化建设;

(7)多重安全保障
支持身份鉴权、权限管理、数据库审计;支持通信加密、数据加密;兼容主流芯片和操作系统;

(8)高可用及灾备
数据库层面的灾备和高可用能力建设;数据库自治等 AIOps 能力;

(9)高兼容性
兼容 PostgreSQL 数据类型、SQL 语法和协议;支持 HTTP 协议;提供 Restful API;支持 ODBC/JDBC 接口;提供多种编程语言接口。

4.写在最后

从用户中来,到用户中去。KaiwuDB 将始终坚持从用户本位出发,专注于打造一款基于多模架构“小而全”的数据库产品,给市场与用户带来更多的可能。

更多推荐

接口自动化测试框架搭建全部过程

思想:1、基本目录的搭建report:静态输出目录(报告或者日志)data:静态输入目录(可以存放Excel数据,被读取的一些数据)utils:实用方法层(这里存放的是项目的公共方法,一般拿到别的项目可以直接使用,列如:读取Excel中的数据,连接数据库,)apis:接口请求层(这里封装的方法一般都是和项目有关系,列如

MySQL 权限分配

有时候,您需要查看某个用户被授予的权限以便复核。MySQL允许您使用SHOWGRANTS语句来显示分配给用户帐户或角色的权限。MySQLSHOWGRANTS语句介绍以下是SHOWGRANTS语句的基本语法:SHOWGRANTS[FOR{user|role}[USINGrole[,role]...]]在这个语法中:首先,

记录一次DLL分析实战

记录一次DLL分析实战1.VT查看分析报告2.判断文件是否加壳3.查看导入函数4.查看是否有任何其他文件或基于主机的迹象5.使用工具IDAPro进行字符串分析1.VT查看分析报告virustotal全绿,没有报毒:可以看到这个dll是32位的:下面可以看它调用的其他dll:以及它对外提供的函数接口:其中RunCmd很可

Redis简介

1.Nosql作用:应对基于海量用户和海量数据前提下的数据处理问题。​常见Nosql数据库:​RedismemcacheHBaseMongoDB​特征:可扩容,可伸缩,大数据量下高性能,灵活的数据模型,高可用2.Redis特征:1.数据间没有必然的关联关系2.内部采用单线程机制进行工作3.高性能。官方提供测试数据,50

OceanBase杨传辉传递亚运火炬:国产数据库为“智能亚运”提供稳稳支持

9月14日,亚运火炬传递到了浙江台州,OceanBase的CTO杨传辉作为火炬手交接了第89棒火炬。2010年,杨传辉作为创始成员之一参与自研原生分布式数据库OceanBase。十年磨一剑,国产数据库OceanBase交出了一张优秀的成绩单:连续10年稳定支撑双11,承受住了世界级的流量洪峰和稳定性考验;刷新过TPC-

go学习-GMP模型

GMP好理解还是GPM好理解?按照上述图,从上往下,GPM更适合理解GMP模型:Go语言运行时系统中的Goroutine、用于管理Goroutine调度的GoScheduler(P)、机器可用的逻辑处理器数量(M)。理解GPMG每个Goroutine是一个轻量级“线程”,称之为“协程”,可由Go运行时系统并发执行G与P

2023 Google 开发者大会:将大型语言模型部署到你的手机

在2022年末,不到半年时间,各家大语言模型的发展如雨后春笋,截至2023年9月,全球总共有接近100个大语言模型,可谓是百花齐放显而易见,大语言模型凭借出色的AI对话能力,已经逐渐深入各个行业2023Google开发者大会带来了AI专题,Google技术推广工程师魏巍提出“将大语言模型部署到个人终端”,关于这点,在外

[NLP] LLM---<训练中文LLama2(三)>对LLama2进行中文预料预训练

预训练预训练部分可以为两个阶段:第一阶段:冻结transformer参数,仅训练embedding,在尽量不干扰原模型的情况下适配新增的中文词向量。第二阶段:使用LoRA技术,为模型添加LoRA权重(adapter),训练embedding的同时也更新LoRA参数。第一阶段预训练由于第一阶段预训练会冻结transfor

Java基于SpringBoot的校园交友网站的设计与实现

博主介绍:✌程序员徐师兄、7年大厂程序员经历。全网粉丝30W+,Csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌文章目录一、效果演示二、前言介绍三、主要技术四、系统设计(部分)4.1、主要功能模块设计4.2、系统登录流程设计五、运行截图5.1、系统功能模块5.1.

Linux高性能服务器编程 学习笔记 第六章 高级IO函数

pipe函数用于创建一个管道,以实现进程间通信:fd参数是一个包含两个int的数组。该函数成功时返回0,并将一对打开的文件描述符填入其参数指向的数组,如果失败,则返回-1并设置errno。pipe函数创建的这两个文件描述符fd[0]和fd[1]分别构成管道的两端,往fd[1]写入的数组可以从fd[0]读出,并且fd[0

夸克扫描王识别精度领跑行业 愿携手各方伙伴探索AIGC应用新范式

日前,在“AIGC与场景化应用创新”主题研讨会上,阿里智能信息事业群夸克视觉技术负责人黄锐华分享了AI技术应用于扫描场景的最新成果。他表示,AIGC给手机扫描产品打开了创新空间,搭载大模型技术的夸克扫描王对识别手写字体、复杂公式和版式理解上的准确率达到了新高度。(夸克视觉技术负责人:黄锐华)经过几十年的发展,扫描技术已

热文推荐