DevLake 加入 Apache 孵化器,开源共建 Apache 生态首个研发大数据平台


近日,开源研发数据平台 DevLake 通过投票决议,正式成为 Apache 软件基金会 (ASF) 的孵化项目。

file

进入孵化器后,Apache DevLake 将遵循 The Apache Way[1],在导师们的引导下,坚持以人为本、社区高于代码的理念,持续建设包容、多元、崇尚知识的社区。

Apache DevLake 主要特性

作为开源的研发数据平台,DevLake 向软件研发团队提供自动化、一站式的数据收集、分析以及可视化能力,帮助研发团队借助数据更好地理解开发过程,挖掘关键瓶颈与提效机会。

归集 DevOps 全流程效能数据,连接数据孤岛

针对 DevOps 工具链复杂、数据收集难的痛点,DevLake 将需求-设计-开发-测试-交付-运营全流程、不同工具的效能数据汇集于一个平台,避免用户重复造轮子。

这些数据可以互相关联分析,进而更加准确、全面地刻画研发过程。举个例子,在了解项目 bug 修复的近况时,不仅可以了解已修复 bug 的个数,还可以了解这些 bug 的分布、bug 修复相关的代码工作量、所占总工作量比例等信息。

当前 DevLake 已支持主流项目管理工具 JIRA cloud、JIRA server、TAPD,代码托管工具 Git、GitHub、GitLab,CI/CD 工具 Jenkins,日历工具飞书日历。

数据源列表正在快速拓展中,您可以查看 DevLake 已支持数据的详细文档,同时非常欢迎参与贡献新的数据源插件!

标准化研发数据模型和开箱即用的效能指标

研发过程数据的标准化程度低,用户难以直接使用这些数据进一步分析;而效能指标定义与计算方法模糊,又给研发数据的应用带来了额外的成本。

DevLake 提供了便捷的数据转化能力,将收集来的数据清洗转换为标准数据模型,并基于标准模型生成一系列研发效能指标,对用户来说简单易懂、开箱即用。一方面节省了治理数据和定义指标的成本,另一方面使效能指标更加透明,便于研发数据的应用落地。

目前 DevLake 已支持 20+常见研发效能指标,从交付效率、质量、成本、能力等不同角度来观察(度量)研发过程。

结合用户使用研发数据的具体场景,DevLake 基于 Grafana 搭建数据看板,支持趋势分析、按照成员/阶段下钻等分析能力,帮助用户快速定位研发效能提升的关键环节。您可以查看预设数据看板,后续我们将在 blog 中介绍每一个数据看板及其背后的真实用户场景。

file file

上图为面向开源产品的版本/模块质量分析

灵活的数据源插件系统及数据处理框架,支持自定义

DevLake 将数据加工、关联与转换的底层能力开放出来,提供可拓展的数据底座。用户可以根据实际需求,实现以下自定义:

  • 数据源自定义:DevLake 基于 Golang plugin 系统设计了灵活的插件系统,支持用户独立开发接入任意 DevOps 工具
  • 数据模型自定义:基于 dbt 插件,支持用户自定义数据转换模型
  • 效能指标自定义:支持用户基于数据模型自定义指标,或调整指标计算方式
  • 数据看板自定义:SQL 查询,在 Grafana 中拖拽搭建数据看板

未来规划

技术与产品方面

  • 集成更多数据源,覆盖整个软件开发生命周期 (SDLC)
  • 提供更丰富的研发数据分析场景,与用户共建 Dashboard,实现更进一步的开箱即用
  • 提升灵活性,用户能够根据自身业务需求,轻松地自定义数据模型和指标
  • 优化用户体验,降低安装、配置、收集的成本,使用户专注数据分析
  • 增强系统可伸缩性,提升大规模数据场景下的系统性能

社区建设方面

  • 组织多种多样的社区活动,积极进行线上和线下技术布道,吸引更多用户、开发者和开源爱好者参与到 DevLake 的社区中来
  • 打造开放、友好的交流环境,完善和丰富 DevLake 相关内容体系,完善用户文档和贡献指南,降低用户使用和参与门槛,向社区提供更及时的响应,积极与用户互动,解决用户问题并进一步促进项目迭代
  • 积极与其他开源项目和社区展开合作,让更多生态合作伙伴了解和参与到 DevLake 社区,共建繁荣生态

file

上图为DevLake 架构图[2]

为什么加入 ASF 孵化器

首先,DevLake 相信 The Apache Way 是社区成功之道,以人为本开放、社区高于代码等理念将帮助 DevLake 健康、持续地成长。

进入孵化后,DevLake 期待在导师们的指引下,更加深入理解 The Apache Way 并予以实践,持续建设包容、多元、崇尚知识的社区。

其次,DevLake 和数据基建相关,与 Apache 基金会的关注点高度契合。DevLake 期待与 Apache 生态的其他大数据开源项目共同发展,共建生态。

导师介绍

  • 姜宁[3]:DevLake Champion,ASF Member,同时也是今年当选的 Apache 董事
  • 张亮[4]:SphereEx 公司创始人 & CEO,ASF Member,Apache ShardingSphere 创始人 & PMC Chair
  • 代立冬[5]:白鲸开源联合创始人,ASF Member,Apache DolphinScheduler PMC Chair
  • 郭斯杰[6]:ASF Member, PMC Member on Apache Pulsar,StreamNative 创始人 & CEO
  • Felix Cheung[7]:ASF Member,Apache Zeppelin、Spark、SuperSet、YuniKorn、Pinot 等项目 PMC,SafeGraph 技术高级副总裁
  • Jean-Baptiste Onofré[8]:ASF Member,Karaf PMC Chair,ActiveMQ、Archiva、Aries、Beam、Brooklyn、Camel、Carbondata、Felix 等项目 PMC

导师寄语

姜宁:非常高兴能够成为 DevLake 的开源孵化领路人,帮助 DevLake 加入的 ASF 孵化器。DevLake 着力于解决软件研发领域数据收集,以及研发瓶颈分析的痛点问题。欢迎对提升软件研发效率感兴趣的小伙伴参与到 DevLake 的使用和开发中来,一同构建繁荣发展的社区生态。

张亮:欢迎 Apache 孵化器的新成员 DevLake。它将使工程效能领域的发展更加开放和繁荣,进而推动整个领域的标准化进程。欢迎更多的贡献者参与 ASF 社区,望 DevLake 早日毕业!

代立冬:很高兴看到 DevLake 加入到 Apache 孵化器,DevLake 是一个专为开发团队分析和提高工程生产力的平台,欢迎广大的开发伙伴们一起参与让 DevLake 社区更加繁荣、早日成为顶级项目!

郭斯杰:祝贺 DevLake 进入 Apache 软件基金会孵化器,这是 DevLake 走向世界的一大步,期待有更多技术爱好者和用户加入,共建繁荣。祝社区快速成长成为顶级项目,成为研发数据平台的中流砥柱。

如何参与 Apache DevLake 社区?

DevLake 的发展离不开社区用户的支持,欢迎所有人参与社区建设,让 DevLake 越来越有生命力🥳

  • 加入社群:点击加入 Slack 或点击下方代码仓库地址 > Readme > 扫描微信群二维码
  • DevLake 代码仓库:https://github.com/apache/incubator-devlake/
  • DevLake 官网:https://devlake.apache.org/
  • DevLake Podling Website:https://incubator.apache.org/projects/devlake.html
  • 如何参与贡献:https://github.com/apache/incubator-devlake#how-to-contribute
  • 订阅邮件列表了解动态:[email protected]
  • 微信公众号正在建设中:欢迎关注公众号“DevLake社区”!

Reference

[1] The Apache Way 文档: https://www.apache.org/theapacheway/index.html,

[2] DevLake 架构图: https://github.com/apache/incubator-devlake/blob/main/ARCHITECTURE.md,

[3] Willem Ning Jiang: https://github.com/WillemJiang,

[4] Liang Zhang: https://github.com/terrymanu,

[5] Lidong Dai: https://github.com/dailidong,

[6] Sijie Guo: https://github.com/sijie,

[7] Felix Cheung: https://github.com/felixcheung,

[8] Jean-Baptiste Onofré: https://github.com/jbonofre,


相關推薦

2023-04-01

,OpenCloudOS 社区成员增长迅速,目前已有600余家生态伙伴加入,覆盖操作系统厂商、芯片厂商、整机厂商等11 大行业和领域。其中超过60家企业单位、高校及机构深度参与OpenCloudOS社区的共建 ,腾讯、英特尔、中兴、九州云、网

2023-02-03

Apache 软件基金会(ASF)孵化器于2022年12月03日,通过了 Apache Linkis 计算中间件项目的孵化毕业投票。2023年01月18日,Apache 软件基金会官方宣布 Apache Linkis 顺利毕业,成为 Apache 顶级项目(TLP)。 以上截图来自 Apache 官网

2023-11-16

Seata 正式通过 Apache 基金会的投票决议,正式成为 Apache 孵化器项目。 Seata 是一款开源的分布式事务解决方案,致力于在微服务架构下提供高性能和简单易用的分布式事务服务。 2019 年 1 月,阿里巴巴中间件团队发起了开源

2023-03-28

Apache 软件基金会(ASF)孵化器于2023年2月15日,通过了 Apache EventMesh 项目的孵化毕业投票。2023年03月22日,Apache 软件基金会董事会通过了Apache EventMesh 毕业,成为 Apache 顶级项目(TLP)。  一、关于 Apache EventMesh Apache EventMesh

2022-09-10

相关文章。         为什么加入 ASF 孵化器 StreamPark 加入 ASF 孵化器主要是基于以下几个原因 本身就是 ASF 大数据开源项目的生态项目,期待成为 ASF 正式一员。 在成熟开源基金会的指导下, 让 Stream

2023-02-07

将 bRPC 捐献给 Apache 软件基金会并命名为 Apache bRPC,进入孵化器 2021年,bRPC社区发布第一个正式版本 1.0.0 2022年,正式完成商标捐赠,推动 Apache bRPC 完成毕业,成为 Apache 软件基金会顶级项目(TLP) 截至2023年1月,Apache b

2023-05-05

则,高度关注项目质量,努力建设发展社区。加入 Apache 孵化器以来,认真学习和遵循「The Apache Way」,我们将秉承更加兼容并包的心态,迎接更多的机遇与挑战。诚挚欢迎更多的贡献者参与到社区建设中来,和我们一道携手共

2024-01-16

友好、可商用,Apache2。 开放式合作:我们欢迎大家加入我们开源项目的建设,贡献自己的想法、建议或代码。 持续更新与改进:我们承诺不断更新CSGHub,并积极采纳社区反馈,不断改进项目。 传统DevOps快速适配

2024-06-06

山区举行。活动现场,大湾区首个专注大模型领域的旗舰孵化器——深圳“模力营”AI生态社区揭牌,首批11家人工智能企业签约入驻“模力营”。 深圳“模力营”AI生态社区是粤港澳大湾区首个垂直领域大模型生态系统,专注

2022-10-10

/cube.js datahub-project/datahub 数据开发 apache/incubator-devlake apache/zeppelin jupyter/notebook pachyderm/pachyderm 数据可视化 apache/superset dataease/dataease edp963/davinci elastic/kibana getredash/redash grafana/grafana keplergl/kepler.gl metabase/metabase sh

2023-03-02

模型ALM,百亿语言基础模型CPM3等。 目前,FlagAI 已经加入 Linux 基金会,吸引全球科研力量对大模型技术共同创新、共同贡献。 项目地址:https://github.com/FlagAI-Open/FlagAI 2. FlagPerf:面向多种AI硬件的一体化评测引擎 AI

2023-08-03

2023 年 7 月 8 日,“满天星”行动计划数字重庆建设生态企业暨重大招商项目集中签约仪式在江北区行政服务中心会议中心举行。本次签约共计71个项目,投资总额672.5亿元。签约项目中,签约数字重庆建设生态企业41家,投资

2024-05-22

孵化、人才培育、平台支撑为一体的创新生态,同时加快开源人形机器人原型机研发。 关于宽禁带半导体,上海将在首轮流片、EDA应用等方面给予支持,特别是EDA补贴最高将以采购金额50%给予支持,重大项目支持率高达30%以上

2023-06-14

6月11日,在2023开放原子全球开源峰会上,腾讯正式宣布将打磨多年的编译器软件OpenKona JDK捐赠给开放原子开源基金会,联合基金会以及数以百万计开发者,共建国产编译器基础软件,推动数字基础设施加速突破。 在软件开发