流式应用开发管理系统 Streamis 0.3.0 新版本发布


8 月 26 日「源创会」北京站,聊聊 AI 大模型与底层技术 >>>

Streamis 简介

Streamis 是微众银行联合天翼云、仙翁科技和萨摩耶云联合共建的流式应用开发管理系统。基于 DataSphere Studio 的框架化能力,以及底层对接 Linkis 的 Flink 引擎,让用户低成本完成流式应用的开发、调试、发布和生产管理。

未来还规划将以工作流式的图形化拖拽开发体验,将流式应用以 Source 节点、 Dimension 节点、Transform 节点、Sink 节点 和 Visualis 节点串连成一条流式工作流,让用户以更低的学习成本完成流式应用的开发、调试和发布。

 

Github:https://github.com/WeBankFinTech/Streamis

 

Streamis 0.3.0 新版本说明

Streamis 0.3.0 有一些重要架构更新和优化,主要是支持分离式 Flink 应用和 Flink 管理引擎连接器,增加作业启动前检查快照和同名应用,支持 DSS 代理用户。增加对 Flink 应用日志聚合采集回写本地。Streamis 0.3.0 兼容 Linkis 多版本(>= 1.1.2),但是分离式相关特性需要 1.4.0 以上。

 

Streamis 0.3.0 主要新增如下特性:

  • Flink 任务增加分离式管理模式(要求 Linkis 1.4.0)

  • 增加 Flink 管理 ec 支持(要求 Linkis 1.4.0)

  • 作业任务启动增加启动检查,检查快照地址和 yarn 上同名应用(要求 Linkis 1.4.0)

  • 支持 DSS 代理用户(要求 DSS 1.1.2)

  • 采集并聚合 Yarn 流应用日志回调,在 streamis 端写入本地。采集端支持按照不同级别筛选回调日志

 

缩写:

  • DSS: DataSphereStudio

 

新特性

  • [Streamis-jobmanager] flink 任务增加分离式管理模式

  • [Streamis-jobmanager] 增加 flink 管理 ec 支持

  • [Streamis-jobmanager] Streamis 作业任务启动增加启动检查

  • [Streamis-jobmanager] 启动作业时,会自动检查 yarn 上同名应用

  • [Streamis-jobmanager] streamis 应用参数配置导入

  • [Streamis-jobmanager] 采集并聚合流应用日志,在 streamis 端写入本地

  • [Streamis-appconn] Streamis 数据接口权限调整

  • [Streamis-appconn] 配合 DSS 切换代理用户

  • [Streamis-jobmanager] 作业支持标签筛选

 

功能增强

  • [Streamis-Web] 任务配置界面的渲染和接口调整

  • [Streamis-jobmanager] 实现流应用自动重启并优化幂问题

  • [Streamis-jobmanager] Streamis 任务中止流程调整,优化了作业停止功能,加入调度

  • [Streamis-jobmanager] 采集端增加关键字过滤策略

  • [Streamis-jobmanager] 应用初始化支持应用在线导入及版本管理

  • [Streamis-jobmanager] 任务启动前检查失败告警人

  • [Streamis-jobmanager] 支持多盘符存储流应用日志

  • [Streamis-projectmanager] 上传项目资源文件添加 md5

 

BUG 修复

  • [Streamis-Web] 修复历史任务日志页面不能显示下一页的问题,在日志界面显示 flink ec 分页日志

  • [Streamis] 修复了代码扫描的漏洞和异味

 

贡献者

Streamis 0.3.0 的发布离不开 Streamis 社区的贡献者,感谢所有的社区贡献者。

 

安装包

Streamis0.3.0 安装包:https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.3.0/wedatasphere-streamis-0.3.0-dist.tar.gz

 

Streamis0.3.0 appconn 插件包:https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.3.0/streamis-appconn-0.3.0.zip

 

DSS1.1.2&Linkis1.4.0 一键安装包:https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/1.1.2/dss_linkis_one-click_install_20230809.zip

 

 

— END —

 

如何成为社区贡献者

 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交 PR 和真正参与到社区的建设。参考攻略:保姆级教程:如何成为 Apache Linkis 文档贡献者

 

 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161

 

 内容贡献:发布 WeDataSphere 开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:

  • 技术干货 | Linkis 实践:新引擎实现流程解析

  • 技术干货 | Prophecis 保姆级部署教程

  • 社区开发者专栏 | MariaCarrie:Linkis1.0.2 安装及使用指南

 

 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;

 

 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;


相關推薦

2023-03-02

LF Edge eKuiper 是 Golang 实现的轻量级物联网边缘分析、流式处理开源软件,可以运行在各类资源受限的边缘设备上。eKuiper 的主要目标是在边缘端提供一个流媒体软件框架(类似于 Apache Flink )。eKuiper 的规则引擎允许用户提供基

2023-12-06

2023 年 9 月 21 日 - Timeplus,业界最快最强的实时流式分析平台之一,宣布将其核心引擎 “Proton” 正式开源提供给全球开发者。Timeplus 在融合 ClickHouse 的历史在线分析处理的基础上,开发了一款全新的流式数据处理优先、统一

2023-07-26

化等一系列功能,支持大数据量,支持高并发的【通用型流式大数据统计平台】。 XL-LightHouse目前已基本涵盖了常见的流式数据统计场景,包括count、sum、max、min、avg、bitcount、topN/lastN等多种运算,支持多维度计算,支持分钟级

2023-01-06

现。 文件源 之前版本的文件源主要用于创建 Table,对流式处理的支持不够完善。新的版本中,文件源也支持作为用作流,此时通常需要设置 interval 参数以定时拉取更新。同时增加了文件夹的支持,多种文件格式的支持和更

2024-06-26

种用途,可作为:通用型流式大数据统计系统、数据指标管理系统和数据指标可视化系统。 对单个流式统计场景的数据量无限制,可以非常庞大,也可以非常稀少,既可以使用它完成十亿级用户量 APP 的 DAU 统计、十几万台服

2022-08-21

求至少 Java 8 的支持,同时该版本增加了向后兼容的 流式日志 API,但是要求已有框架用户必须移植到 ServiceLoader 机制,内部详细的改进详情请看 detailed 。 新版本详细信息请看 https://www.slf4j.org/news.htm SLF4J

2024-10-23

种用途,可作为:通用型流式大数据统计系统、数据指标管理系统和数据指标可视化系统。 对单个流式统计场景的数据量无限制,可以非常庞大,也可以非常稀少,既可以使用它完成十亿级用户量 APP 的 DAU 统计、十几万台服

2023-04-08

工业设备的不同协议类型数据,采集的数据经由 eKuiper 做流式的实时处理,获取更大的价值。eKuiper 一直在持续优化和 Neruon 的对接和整合。 *参考阅读:Neuron+eKuiper 实现工业物联网数据采集、清理与反控 eKuiper 1.5.0 版本加入了

2024-10-15

加 AI大模型 聊天助手边栏控件 增加 AI大模型 聊天助手流式输出支持 更新中文语言支持(zh-CN/zh-SG/zh-Hans/zh-Hant) 下载与安装 袋鼠数据库管理工具 v6.0.1 新版本功能快照   

2023-12-25

颈。此外,bun install --verbose现在将安装后脚本的输出实时流式传输,提供实时反馈,增强了安装包过程的透明度。 Bug修复和升级 Bun 1.0.19修复了一系列问题,包括与--frozen-lockfile标志相关的问题、TypeScript解析器的边缘案例以及

2022-06-10

进的统一编程模型,可用于在任何执行引擎上运行批量和流式数据处理作业。流行的执行引擎包括 Apache Spark、Apache Flink 或 Google Cloud Platform Dataflow。 Apache Beam 一直是 Apache Hop 的一个重要插件,并随 Apache Spark 3.1.3 和 Apache Flink 1.1

2022-06-13

libaba 2021.0.1.0、 Spring Authorization Server 0.3.0、Nacos 2.1.0 等最新版本开发,遵循SpringBoot编程思想,高度模块化和可配置化。具备服务发现、配置、熔断、限流、降级、监控、多级缓存、分布式事务、工作流等功能 平台定位 构建

2024-10-16

图页面支持进度条展示 * BUG修复 🐛     * 修复流式 tool call 包含多余 list wrapper 的问题 * ⏳ 即将废弃     * v0.16.0 中,transformers 引擎的 continuous batching 将代替现有的推理逻辑成为默认推理行为 🚀 我们感谢

2023-09-06

人价值; 概述 XL-LightHouse 是针对互联网领域繁杂的流式数据统计需求而开发的一套集成了数据写入、数据运算、数据存储和数据可视化等一系列功能,支持超大数据量,支持超高并发的【通用型流式大数据统计平台】。 X