时序数据库 IoTDB 发布端边云原生解决方案,有效优化工业互联网数据上传时效与资源消耗...

2023-09-20 17:20:22

2023 年 9 月 8 日,由中国通信学会、福建省工业和信息化厅主办的 2023 中国国际工业互联网创新发展大会在厦门举办。大会主论坛中,时序数据库 IoTDB 发表其自研建立的端边云原生解决方案,该方案可实现端侧设备、边缘服务器、数据中心数据的协同汇聚,达到数据实时上传、带宽成本控制、与多终端同步管理

01

关于大会

为贯彻落实国家两个强国发展战略,推动工业化和信息化融合发展,2023 中国国际工业互联网创新发展大会于 9 月 8 日 - 11 日与第二十三届投治会同期举办,旨在通过政策研读、行业前瞻、成果展示、创新案例发布、投资洽谈等形式,展示我国工业互联网创新技术和应用的现状以及发展成就,同时聚焦工业互联网核心技术领域及前沿应用,发布行业创新成果,助力科技成果产业化,推动我国工业互联网领域高质量发展。大会邀请超 6000 家技术企业与超 1000 家投资机构;致力加强大会在工业互联网行业的辐射范围与影响力,希望共同探讨如何以工业互联网行业前沿的技术、理念服务企业。

3d8cb16d106aafb676bcc8915439d9a4.png

02

IoTDB 解决方案概要

IoTDB 是一款在国家自然科学基金、科技部、工信部、中国科协与中国通信学会的大力支持下,由清华大学发起,国产自主研发的工业互联网时序数据库产品。该项目也是我国科研机构目前唯一入选国际 Apache 开源软件基金会的项目,开源社区成员覆盖中、德、美等工业大国。IoTDB 覆盖了时序数据写入、存储、查询、计算全生命周期,具有多协议兼容、高压缩比、高通量读写等多项性能优势。目前在电力能源、飞机制造、车联网、钢铁冶炼、智慧工厂等行业均得到应用,已服务中央骨干、工业龙头企业超过 1000 家。

39f2fa32013246812a98776aec5528e0.png

工业互联网场景下,以设备、传感器等终端上报的时序数据,成为多行业的价值主体。而工业互联网时代是端边云协同的时代:端是终端装备,用于采集数据;边是边缘控制器,用于汇集数据;云是云端服务器,用于处理数据。这种“端侧采集、边侧汇聚、云上处理”的数据上行链路,和“云上训练、边上推理、端侧执行”的数据下行链路,构成了工业互联网端边云场景的闭环

传统方案下,端侧数据即采即报即丢,但无法将全量数据如数上传,丢失掉了重要的装备运行细节数据;边缘侧存储能力弱,本地难以保留长周期历史数据,阻断了在边缘本地做实时智能化应用的潜在可能;云侧将所有边缘侧数据全部重新处理,其计算资源需求量是边缘侧设备的总和,其资源需求随着边缘侧设备的不断增加最终会难以为继。

0c6a6dda90ef47dac17a3859f79ab42b.png

为有效解决这一难题,IoTDB 发布的端边云原生解决方案,新增了多个端-边-云版本系统模块,重制了两种端-边-云数据协同模式,实现了多形态部署与端边云协同

在端侧,IoTDB 全新研制了基于 C++ 的数据库文件形态产品,在数十 M 甚至数 M 内存下,能够以 10 倍以上压缩率、百万点每秒吞吐率实现单设备全量数据管理。在边侧,IoTDB 升级了单机数据库形态产品,在 10M 到 GB 内存下,实现多设备全量长周期数据管理。在云侧,IoTDB 重制了分布式数据库形态产品,能够支持亿级测点,每秒数亿点读写吞吐,并创新了副本机制,较其他系统直接节省 30% 的存储和服务器。此外,IoTDB 天生的语言特性使其能够与当前大数据生态无缝衔接。通过上述三类产品形态,实现了端-边-云多场景的全面覆盖,解决了端侧、边侧设备存储能力弱、丢失细节数据的痛点

同时,IoTDB 提出基于逐点的实时同步机制和基于 TsFile 列式数据存储文件的批量同步模式,同时覆盖了低延迟同步和高吞吐同步两类场景。以基于 TsFile 数据库文件的同步模式为例,在端侧,通过采用文件形态产品,端侧装备直接生成时序数据高压缩文件,并通过同步模块将数据增量同步至边侧 IoTDB 实例。多个 IoTDB 边缘侧实例再将汇聚的时序数据文件集合增量式上传至云侧 IoTDB,从而使得云侧集群在不消耗额外 CPU、内存的情况下,利用端侧、边侧 CPU 资源整理好的数据,直接落到云侧服务器硬盘中进行管理。从而解决当前云侧重复处理数据、资源需求无上限的痛点

0787ed5894ad0516d2f1cc88bbe3edc6.png

因数据文件的统一性与实时、批量同步的灵活切换性,该方案兼顾数据上传的时效性、网络带宽的节省、以及接收端的资源消耗,可有效适应边侧、云侧的不同资源、环境要求,提高设备间数据共享的效率和准确性,进而优化工业互联网企业的运营和控制,加速其应用创新和业务变革。

利用该解决方案,IoTDB 帮助宝武集团构建了钢铁冶炼生产场景中设备、车间、工厂、集团的多层级多粒度数据汇聚,打通了端-边-云原始数据协同路径,并在过去半年的应用中多次及时探测到关键设备故障前兆。同时,IoTDB 帮助某航空集团打造了新型试飞数据管理范式,将原本数据从收集到可用需要 4 小时缩短至 0.5 小时,将其数据存储周期从半年扩大至 10 年

目前,IoTDB 原厂团队已成立商业化公司天谋科技,将继续探索 IoTDB 产品、方案在各行业的应用落地,共同为工业互联网发展贡献力量。

作为全球性开源项目,截至目前,Apache IoTDB 已拥有 258 名贡献者、4K Stars、933 Forks、9594 Commits。我们为大家提供了参与指南,欢迎越来越多的小伙伴助力 Apache IoTDB 项目的不断发展与前进,迈出加入 Apache IoTDB 社区的第一步!

97200e3abe488f0dbfa739f2ddfe7caa.gif

更多推荐

OpenCV自学笔记十九:霍夫变换

目录1、霍夫直线变换2、霍夫圆环变换1、霍夫直线变换霍夫直线变换(HoughLineTransform)是一种用于在图像中检测直线的技术。它能够从图像中提取出直线的参数,例如直线的斜率和截距。霍夫直线变换的基本原理是在参数空间中累加直线的交点。对于每个图像中的边缘点,它们代表了可能的直线候选。通过对这些候选直线进行计数

利用前端和后端技术,海豚物流实现高效物流管理系统

随着信息技术的快速发展,前端和后端技术在物流行业中扮演着越来越重要的角色。海豚物流充分利用前后端技术,实现了物流管理的无缝协作,大大提升了运输效率和客户满意度。前端技术在物流管理中扮演着用户界面的角色。通过优化用户界面,我们帮助客户更加便捷地操作和管理物流信息。首先,我们采用响应式设计,确保用户能够在不同设备上获得一致

Java Lambda表达式:简洁且强大的函数式编程工具

Lambda表达式是Java8及以后版本中引入的一种函数式编程特性。它是一种匿名函数,允许开发人员以简洁和易读的方式编写代码,并且可以作为参数传递给方法或存储在变量中。Lambda表达式的基本语法如下:(parameters)->expression,其中parameters是函数的输入参数,可以是零个或多个,箭头"-

项目性能优化 - 并发编程合并文章详情页的 HTTP 请求次数

目录1.原始文章详情页2.为什么要使用并发编程升级文章详情页3.如何使用并发编程升级文章详情页3.1配置线程池3.2合并前端请求3.3合并后端接口,使用多线程并发执行4.项目相关链接1.原始文章详情页【前端代码】<scripttype="text/javascript">varaid=getURLParam("id")

利用大模型&知识图谱技术,告别繁重文案,实现非结构化数据高效管理

我,作为一名产品经理,对文案工作可以说是又爱又恨,爱的是文档作为嘴替,可以事事展开揉碎讲清道明;恨的是只有一个脑子一双手,想一边澄清需求一边推广宣传一边发布版本一边申报认证实在是分身乏术!脑细胞有多少也不够用了…不管你是什么行业的职场人,在编写文案的路上,谁没经历过追热点、搜素材、求资料、拉框架、添创意、写主体、改措辞

Python 爬虫实战之爬淘宝商品并做数据分析

前言是这样的,之前接了一个金主的单子,他想在淘宝开个小鱼零食的网店,想对目前这个市场上的商品做一些分析,本来手动去做统计和分析也是可以的,这些信息都是对外展示的,只是手动比较麻烦,所以想托我去帮个忙。一、项目要求:具体的要求如下:1.在淘宝搜索“小鱼零食”,想知道前10页搜索结果的所有商品的销量和金额,按照他划定好的价

java版工程管理系统Spring Cloud+Spring Boot+Mybatis实现工程管理系统源码

工程项目管理软件(工程项目管理系统)对建设工程项目管理组织建设、项目策划决策、规划设计、施工建设到竣工交付、总结评估、运维运营,全过程、全方位的对项目进行综合管理工程项目各模块及其功能点清单一、系统管理1、数据字典:实现对数据字典标签的增删改查操作2、编码管理:实现对系统编码的增删改查操作3、用户管理:管理和查看用户角

高云FPGA系列教程(10):letter-shell移植

文章目录letter-shell简介letter-shell源码获取letter-shell移植函数和变量应用示例本文是高云FPGA系列教程的第10篇文章。shell,中文是外壳的意思,就是操作系统的外壳。通过shell命令可以操作和控制操作系统,比如Linux中的Shell命令就包括ls、cd、pwd等等。总结来说,

OpenCV(四十五):ORB特征点

1.特征点的组成特征点由关键点和描述子两部分组成:关键点是在图像中检测到的具有显著变化的位置坐标。描述子是用于表示关键点周围局部区域特征的向量或特征向量。2.ORB特征点原理ORB特征点由关键点FAST角点和描述子BRIEF组成。2.1提取FAST角点的算法FAST算法的思想:通过比较像素相对于中心像素有较大差别(过亮

flutter聊天界面-TextField输入框buildTextSpan实现@功能展示高亮功能

flutter聊天界面-TextField输入框buildTextSpan实现@功能展示高亮功能最近有位朋友讨论的时候,提到了输入框的高亮展示。在flutterTextField中需要插入特殊样式的标签,比如:“请@张三回答一下”,这一串字符在TextField中输入,当输入@时弹出好友列表选择,然后将“@张三”高亮显

用Vite从零到一创建React+ts项目

方式一:使用create-react-app命令创建项目1、使用以下命令初始化一个空的npm项目npminit-y2、输入以下命令安装Reactnpmicreate-react-appps:如果失败的话尝试(1:使用管理员身份执行命令(2:切换镜像重试3、输入以下命令创建项目create-react-app项目文件夹名

热文推荐