XL-LightHouse 1.0.7 发布,通用型流式大数据统计系统


升级内容:

  1. 拆分部署时参数配置和运行期参数配置,将两类参数配置分开放在两个配置文件中,简化参数配置,优化部署流程;
  2. 优化项目文档;

一键部署,一行代码接入,无需大数据相关研发运维经验就可以轻松实现海量数据实时统计,使用 XL-LightHouse 后:

  •  1、再也不需要用 Flink、Spark、ClickHouse 或者基于 Redis 这种臃肿笨重的方案跑数了;
  •  2、再也不需要疲于应付对个人价值提升没有多大益处的数据统计需求了,能够帮助您从琐碎反复的数据统计需求中抽身出来,从而专注于对个人提升、对企业发展更有价值的事情;
  •  3、轻松帮您实现任意细粒度的监控指标,是您监控服务运行状况,排查各类业务数据波动、指标异常类问题的好帮手;
  •  4、培养数据思维,辅助您将所从事的工作建立数据指标体系,量化工作产出,做专业严谨的职场人,创造更大的个人价值;

概述

  • XL-LightHouse 是针对互联网领域繁杂的流式数据统计需求而开发的一套集成了数据写入、数据运算、数据存储和数据可视化等一系列功能,支持超大数据量,支持超高并发的【通用型流式大数据统计平台】。
  • XL-LightHouse 目前已基本涵盖了常见的流式数据统计场景,包括 count、sum、max、min、avg、distinct、topN/lastN 等多种运算,支持多维度计算,支持分钟级、小时级、天级多个时间粒度的统计,支持自定义统计周期的配置。
  • XL-LightHouse 内置丰富的转化类函数、支持表达式解析,可以满足各种复杂的条件筛选和逻辑判断。
  • XL-LightHouse 是一套功能完备的流式大数据统计领域的数据治理解决方案,它提供了比较友好和完善的可视化查询功能,并对外提供 API 查询接口,此外还包括数据指标管理、权限管理、统计限流等多种功能。
  • XL-LightHouse 支持时序性数据的存储和查询。

在数据统计方面,XL-LightHouse 与 Flink 和 ClickHouse 对比有什么优势?

- https://dtstep.com/archives/4820.html

补充说明

  • XL-LightHouse 的应用场景非常广泛,比较常见的比如 PV、UV 的统计,接口的调用量、耗时情况、异常量等,可以灵活配置统计周期和任意的统计维度,有完善的可视化查询页面,一键接入,轻松使用!
  • XL-LightHouse 项目架构支持超大规模的数据量和高并发数据写入,足以支撑一线互联网大厂的数据量。

收益

  • XL-LightHouse 可以帮助企业更快速的搭建起一套较为完善的、稳定可靠的数据化运营体系,节省企业在数据化运营方面的投入,主要体现在以下几个方面:
  • 减少企业在流式大数据统计方面的研发成本和数据维护成本。
  • 帮助企业节省时间成本,辅助互联网产品的快速迭代。
  • 为企业节省较为可观的服务器运算资源。
  • 便于数据在企业内部的共享和互通。
  • 此外,XL-LightHouse 对中小企业友好,它大大降低了中小企业使用流式大数据统计的技术门槛,通过简单的页面配置和数据接入即可应对繁杂的流式数据统计需求。 

项目地址

https://github.com/xl-xueling/xl-lighthouse.git

https://gitee.com/mirrors/XL-LightHouse.git


相關推薦

2023-07-26

概述 XL-LightHouse是针对互联网领域繁杂的数据统计需求而开发的一套集成了数据写入、数据运算、数据存储和数据可视化等一系列功能,支持大数据量,支持高并发的【通用型流式大数据统计平台】。 XL-LightHouse目前已基本

2023-11-15

数据研发运维经验,轻松实现海量数据实时统计,使用 XL-LightHouse 后:  1、再也不需要用 Flink、Spark、ClickHouse 或者基于 Redis 这种臃肿笨重的方案跑数了;  2、再也不需要疲于应付对个人价值提升没有多大益处的数据

2023-11-22

数据研发运维经验,轻松实现海量数据实时统计,使用 XL-LightHouse 后:  1、再也不需要用 Flink、Spark、ClickHouse 或者基于 Redis 这种臃肿笨重的方案跑数了;  2、再也不需要疲于应付对个人价值提升没有多大益处的数据

2023-11-29

数据研发运维经验,轻松实现海量数据实时统计,使用 XL-LightHouse 后:  1、再也不需要用 Flink、Spark、ClickHouse 或者基于 Redis 这种臃肿笨重的方案跑数了;  2、再也不需要疲于应付对个人价值提升没有多大益处的数据

2023-09-14

数据研发运维经验,轻松实现海量数据实时统计,使用 XL-LightHouse 后:  1、再也不需要用 Flink、Spark、ClickHouse 或者基于 Redis 这种臃肿笨重的方案跑数了;  2、再也不需要疲于应付对个人价值提升没有多大益处的数据

2023-08-25

Flink 引擎,让用户低成本完成流式应用的开发、调试、发布和生产管理。 未来还规划将以工作流式的图形化拖拽开发体验,将流式应用以 Source 节点、 Dimension 节点、Transform 节点、Sink 节点 和 Visualis 节点串连成一条流

2023-07-18

频道等等。 功能特性 支持自定义消息 支持订阅/发布者模式 支持个人/群聊/客服/社区资讯频道 支持频道黑明单 支持频道白名单 支持消息永久漫游,换设备登录,消息不丢失 支持在线状态,支持同账号多设备同

2023-03-28

5000万元人民币。   在 OSCHINA 和 Gitee 今年联合发布的《2022 中国开源开发者报告》中,我们也有幸邀请到了袁进辉在 “前沿开源技术领域解读” 栏目就“开源 AI”进行深度剖析。他提到,开源模式使得 AI 标准化和规

2023-03-02

,在几分钟内创建物联网边缘分析应用。 近日,eKuiper 发布了 1.8.0 版本。该版本的主要亮点有: 零编码 AI 推理: 通过通用 AI 函数,用户无需编码即可针对流式数据或视频流实现实时 AI 算法推理。该函数可以推理任意的

2023-12-06

2023 年 9 月 21 日 - Timeplus,业界最快最强的实时流式分析平台之一,宣布将其核心引擎 “Proton” 正式开源提供给全球开发者。Timeplus 在融合 ClickHouse 的历史在线分析处理的基础上,开发了一款全新的流式数据处理优先、统一

2024-01-15

野火IM 1.2.2 已经发布,即时通讯系统 此版本更新内容包括: Release note 1.2.2: 解决搜索特殊字符时的转义问题。 SDK添加流式消息。 添加配置,是否禁止拉陌生人入群。 放被拉黑时禁止被拉入群。 群组信息变更回调时

2023-04-27

类型数据源和数据类型的混合训练,如 HDFS、Kafka 等批式流式数据源,Text、PB、Parquet 等数据类型。 目前 Primus 流批一体训练框架在字节内部支持了抖音、头条、Tiktok、广告等大部分业务,每天运行在 Primus 上的作业总核数

2023-02-04

Godot 4.0 即将正式发布,据称此版本在功能、性能和可用性方面都包含全面的重大改进。不过社区目前面临着一个大问题:Godot 与主流商业产品相比有多大差距? 4.0 作为重大版本更新,其开发工作于 2020 年启动,在两年多的开

2023-09-02

开源模型库paddlespeech作为语音识别服务,将客户端上传的流式语音进行识别并且返回给客户端;客户端采用Qt的Multimedia模块进行语音识别,然后进行格式封装上传到服务端,根据识别结果处理对应操作。 目前,在openKylin 1.0版本