大数据课程M1——ELK的概述

2023-09-13 17:01:31

文章作者邮箱:yugongshiye@sina.cn              地址:广东惠州

 ▲ 本章节目的

⚪ 了解ELK的定义;

⚪ 掌握ELK的使用;

一、什么是ELK

1. 简介

ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案,是三个产品的首字母缩写,分别是 ElasticSearch、Logstash 和 Kibana

2. ELASTICSEARCH

ElasticSearch简称ES,它是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎,使用 Java 语言编写。

3. LOGSTASH

Logstash是一个具有实时传输能力的数据收集引擎,用来进行数据收集(如:读取文本文件)、解析,并将数据发送给ES。

4. KIBANA

Kibana为 Elasticsearch 提供了分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找,交互数据,并生成各种维度表格、图形。

二、为什么要使用ELK

1. 分布式集群

1. 数据量庞大:PB级别甚至更高。

2. 搜索需求要求高:快,准,多维度全文搜索。

ELASTICSEARCH就支持这种场景,也是目前全文搜索功能使用最多的一种技术。

2. 数据源丰富

1. 数据库数据。

2. 日志数据。

3. 其他分散存储的数据。

LOGSTASH可以从多数据源采集数据。

3. 数据的价值

1. 所谓数据保存的越多,数据提现的价值就越多.前提是需要分析展示数据。

2. KIBANA就可以提供数据的仪表分析等功能。

所以基于上述的一些问题,开源实时日志分析 ELK 平台能够完美的解决, ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。

更多推荐

《数字图像处理-OpenCV/Python》连载(4)图像的读取与保存

《数字图像处理-OpenCV/Python》连载(4)图像的读取与保存本书京东优惠购书链接:https://item.jd.com/14098452.html本书CSDN独家连载专栏:https://blog.csdn.net/youcans/category_12418787.html第1章图像的基本操作为了方便初学

【Opencv入门到项目实战】(三):图像腐蚀与膨胀操作

文章目录1.腐蚀操作2.膨胀操作3.开运算和闭运算4.礼帽与黑帽5.梯度运算1.腐蚀操作腐蚀操作是图像处理中常用的一种形态学操作,我们通常用于去除图像中的噪声、分割连通区域、减小目标物体的尺寸等。腐蚀操作的原理是,在给定的结构元素下,遍历图像的每个像素,并将其值替换为该像素周围邻域内像素的最小值。结构元素控制了腐蚀的邻

python: excel假期时间提取统计

#encoding:utf-8#版权所有2023涂聚文有限公司#许可信息查看:#描述:#Author:geovindu,GeovinDu涂聚文.#IDE:PyCharm2023.1python311#Datetime:2023/9/37:04#User:geovindu#Product:PyCharm#Project:

C++虚函数剖析-继承,多继承和虚继承情况

tags:C++categories:C++写在前面前面分析了C++类内的虚指针和虚表,通过二级指针解引用的方式找到虚表,由此访问虚函数,相较于传统的死记硬背,我一直觉得学习编程时候能看到具体的/确切的输入输出结果,对于掌握某个知识点要更加有效,如果你只是知道了虚函数的原理,却又说不清楚虚函数是怎样寻址的,即其在类内具

哪些人适合申请浙大miniMBA项目?如果今年无望浙大MBA的几点建议

    距离2024年MBA联考还有三个月左右的时间,对于广大浙大MBA项目的考生来说,事到如今似乎今年的联考结果已经越来越分明。还在犹豫要不要报考或者备考来不来得及的考生,如果本身基础不是很好,杭州达立易考教育就要泼一盆冷水了:恐怕接下来的时间大概率回天乏术,毕竟很少能有考生可

【三相有源电力滤波器】使用同步参考系控制的三相有源功率滤波器(Simulink)

💥💥💞💞欢迎来到本博客❤️❤️💥💥🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。⛳️座右铭:行百里者,半于九十。📋📋📋本文目录如下:🎁🎁🎁目录💥1概述📚2运行结果🎉3参考文献🌈4Simulink仿真实现💥1概述【三相有源电力滤波器】采用同步参考系控制的三相

如何在 Excel 中求平方根

需要在Excel中求一个数字的平方根吗?使用几个内置的Excel函数和公式可以轻松计算平方根。在本分步指南中,您将学习在Excel中计算平方根的5种不同方法,包括使用SQRT函数、POWER函数、指数公式、VBA代码和PowerQuery。跟随教程,掌握平方根计算并提高您的Excel技能。让我们深入了解一下吧!使用SQ

Python用若干列的数据多条件筛选、去除Excel数据并批量绘制直方图

本文介绍基于Python,读取Excel数据,以一列数据的值为标准,对这一列数据处于指定范围的所有行,再用其他几列数据数值,加以筛选与剔除;同时,对筛选与剔除前、后的数据分别绘制若干直方图,并将结果数据导出保存为一个新的Excel表格文件的方法。首先,我们来明确一下本文的具体需求。现有一个Excel表格文件,在本文中我

Go测试学习

前言:\textcolor{Green}{前言:}前言:💞这个专栏就专门来记录一下寒假参加的第五期字节跳动训练营💞从这个专栏里面可以迅速获得Go的知识Go测试学习03测试3.1单元测试3.1.1单元测试-规则3.1.2单元测试-例子3.1.3单元测试-运行3.1.4单元测试-assert3.1.5单元测试-覆盖率3

机器学习算法基础--Generalized Linear Regression Model

目录1.数据的处理及查看2.数据的处理及可视化3.模型的创建与拟合4.算法可视化效果图5.多维度模型可视化线性回归讲了很多次了,广义线性回归无非就是拟合的多项式曲线的次数的变化,就不再推导公式和算法流程了。1.数据的处理及查看importnumpyasnpimportmatplotlib.pyplotaspltimpo

MySQL的时间差函数、日期转换计算函数

MySQL的时间差函数(TIMESTAMPDIFF、DATEDIFF)、日期转换计算函数(date_add、day、date_format、str_to_date)时间差函数(TIMESTAMPDIFF、DATEDIFF)需要用MySQL计算时间差,使用TIMESTAMPDIFF、DATEDIFF,记录一下实验结果--

热文推荐