Streamis 简介
Streamis 是微众银行联合天翼云、仙翁科技和萨摩耶云联合共建的流式应用开发管理系统。基于 DataSphere Studio 的框架化能力,以及底层对接 Linkis 的 Flink 引擎,让用户低成本完成流式应用的开发、调试、发布和生产管理。
未来还规划将以工作流式的图形化拖拽开发体验,将流式应用以 Source 节点、 Dimension 节点、Transform 节点、Sink 节点 和 Visualis 节点串连成一条流式工作流,让用户以更低的学习成本完成流式应用的开发、调试和发布。
Github:https://github.com/WeBankFinTech/Streamis
Streamis 0.3.0 新版本说明
Streamis 0.3.0 有一些重要架构更新和优化,主要是支持分离式 Flink 应用和 Flink 管理引擎连接器,增加作业启动前检查快照和同名应用,支持 DSS 代理用户。增加对 Flink 应用日志聚合采集回写本地。Streamis 0.3.0 兼容 Linkis 多版本(>= 1.1.2),但是分离式相关特性需要 1.4.0 以上。
Streamis 0.3.0 主要新增如下特性:
-
Flink 任务增加分离式管理模式(要求 Linkis 1.4.0)
-
增加 Flink 管理 ec 支持(要求 Linkis 1.4.0)
-
作业任务启动增加启动检查,检查快照地址和 yarn 上同名应用(要求 Linkis 1.4.0)
-
支持 DSS 代理用户(要求 DSS 1.1.2)
-
采集并聚合 Yarn 流应用日志回调,在 streamis 端写入本地。采集端支持按照不同级别筛选回调日志
缩写:
-
DSS: DataSphereStudio
新特性
-
[Streamis-jobmanager] flink 任务增加分离式管理模式
-
[Streamis-jobmanager] 增加 flink 管理 ec 支持
-
[Streamis-jobmanager] Streamis 作业任务启动增加启动检查
-
[Streamis-jobmanager] 启动作业时,会自动检查 yarn 上同名应用
-
[Streamis-jobmanager] streamis 应用参数配置导入
-
[Streamis-jobmanager] 采集并聚合流应用日志,在 streamis 端写入本地
-
[Streamis-appconn] Streamis 数据接口权限调整
-
[Streamis-appconn] 配合 DSS 切换代理用户
-
[Streamis-jobmanager] 作业支持标签筛选
功能增强
-
[Streamis-Web] 任务配置界面的渲染和接口调整
-
[Streamis-jobmanager] 实现流应用自动重启并优化幂问题
-
[Streamis-jobmanager] Streamis 任务中止流程调整,优化了作业停止功能,加入调度
-
[Streamis-jobmanager] 采集端增加关键字过滤策略
-
[Streamis-jobmanager] 应用初始化支持应用在线导入及版本管理
-
[Streamis-jobmanager] 任务启动前检查失败告警人
-
[Streamis-jobmanager] 支持多盘符存储流应用日志
-
[Streamis-projectmanager] 上传项目资源文件添加 md5
BUG 修复
-
[Streamis-Web] 修复历史任务日志页面不能显示下一页的问题,在日志界面显示 flink ec 分页日志
-
[Streamis] 修复了代码扫描的漏洞和异味
贡献者
Streamis 0.3.0 的发布离不开 Streamis 社区的贡献者,感谢所有的社区贡献者。
安装包
Streamis0.3.0 安装包:https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.3.0/wedatasphere-streamis-0.3.0-dist.tar.gz
Streamis0.3.0 appconn 插件包:https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.3.0/streamis-appconn-0.3.0.zip
DSS1.1.2&Linkis1.4.0 一键安装包:https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/1.1.2/dss_linkis_one-click_install_20230809.zip
— END —
如何成为社区贡献者
1 ► 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交 PR 和真正参与到社区的建设。参考攻略:保姆级教程:如何成为 Apache Linkis 文档贡献者
2 ► 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161
3 ► 内容贡献:发布 WeDataSphere 开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:
-
技术干货 | Linkis 实践:新引擎实现流程解析
-
技术干货 | Prophecis 保姆级部署教程
-
社区开发者专栏 | MariaCarrie:Linkis1.0.2 安装及使用指南
4 ► 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;
5 ► 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;