好消息! 在经过许久筹备,Datavane[1] 开源社区(组织) 终于正式成立了。Datavane 是一个专注于大数据领域的开源社区(组织),由一群大数据领域优秀的开源项目作者共同创建,旨在真正的去帮助开源项目作者更好的建设项目、为大众提供高质量的开源软件,我们的宗旨是:只为做一个好软件。
在 Datavane 社区中,所有的项目都是开源开放的,代码质量和架构设计优质的潜力项目。我们相信开源、相互信任,鼓励所有的开发者、用户和贡献者积极参与我们的社区、共同合作,创新创造,建设一个更加强大的开源社区。
我们准备了一批优质的项目,等待和社区一同发布和大家见面,下面让我看看都有哪些精彩的项目吧!
#1. TIS - 人人都会用的数据集成产品
TIS[2] 是采用 Java 语言开发的,一款面向大数据领域端到端的数据集成产品,致力于提供一站式的数据集成能力,目标是打造成人人都会用的数据集成产品。
TIS 同时支持离线和实时数据同步,可以将作业部署到 YARN/K8S 上,充分利用大数据的并行能力,迁移数据性能优异。TIS 非常的简单易用:它内置了一个强大的表单和 DSL 自动渲染引擎,将构建复杂表单系统的复杂度大大降低,在与用户交互过程中大量使用了自动生成、流程引导的方式,大部分流程环节用户只需要做选择,无需使用键盘,只需轻点鼠标一路下一步,就能顺利构建作业。
TIS 提供一个强大的基于插件 SPI 的热插拔系统,提供了像安卓 AppStore 一样的插件商店,需要什么插件可以直接在插件列表中勾选、启用。避免了传统数据集成产品中需要用户本地编译、安装、配置、重启系统的繁琐流程。
TIS 已经过四年的打磨,支持了 MySQL,Doris,ES,Hive,Hudi... 等十多种常见数据库,累积 40 余万行代码,100 余位用户使用,Github Star 600+,项目采用 Apache License v2 开源协议,最大限度地借助开源社区的力量来丰富完善功能。
#2. DataSophon - 大数据云原生管家
DataSophon[3] 是新一代云原生大数据管家,致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台,帮助用户快速构建起稳定、高效、自愈、可弹性伸缩的大数据云原生平台。
DataSophon 兼容复杂环境,得益于自身良好的架构设计,可轻松适应各种复杂环境,平台和大数据组件均支持 arm 和 x86 机器部署,支持 CentOs、麒麟、欧拉、中科方德等常用的 Linux 生态操作系统。
DataSophon 基于生产实践提供了用户最关心的监控指标,包括:JMX 全量指标、HTTP 常用指标、自定义指标,通过预置的监控模板,用户可以查看各类服务组件详细的监控指标,也可以很方便地添加所需的自定义监控指标。
DataSophon 支持了丰富的大数据组件,目前已经支持多种常用大数据组件,例如大数据基础组件: HDFS、YARN、Zookeeper、Hive 等,也支持很多新晋Apache 项目,如: Flink、Spark、StreamPark、Doris 等... 用户可以根据自身业务特点,选择相应的组件来搭建自己的大数据平台,DataSophon 可方便地对集群、节点和服务进行监控和运维操作,帮助用户大幅提升运维工作效率,让数据工程师更专注于业务开发。
#3. Datavines - 数据可观测性平台
Datavines[4] 是一站式开源数据可观测性平台,提供元数据管理、数据概览报告、数据质量管理,数据分布查询、数据趋势洞察等核心能力,致力于帮助用户全面地了解和掌管数据。让您做到心中有数。
Datavines 采用 Framework + Plugin 的设计模式,支持数据源、执行引擎、数据质量检查规则(规则+期望值+校验公式)、注册中心、告警通道和错误数据存储的自定义插件扩展,拥有较高的扩展性。Datavines 目前支持包含 MySQL、Doris 等8种数据源类型、27 个数据质量检查规则以及 Spark 和 Jdbc 两种执行引擎等。
Datavines 具有高可用和高性能的特性。后端采用无中心化设计,支持水平扩展,能够支撑大量的数据质量检查规则的调度和执行,同时具有良好的容错机制来保证服务宕机后的作业容错,保证作业不丢失和不重复执行。
Datavines 提供可视化界面帮助用户进行数据探测以生成数据概览报告,提供界面操作和脚本运行两种方式进行数据质量检查,并支持检查结果的问题管理和告警。
加入我们
Datavane 从名字确定到社区成立,包含着创始团队的大量心血,如今终于得以和大家见面,我们将秉承做一个好软件的宗旨,保持开源开放的态度,高度关注项目的质量和社区发展,聚集更多的开源项目作者和广大开发者,共同打造一个开源项目建设和技术交流的乐园,目前已经有一批非常优秀的开源项目加入,我们欢迎更多的项目加入 Datavane 组织,相信每一个开源项目作者都是心怀远大,目标高远,如果你是在孤独前行,感觉太累, 亦或者你想走的更远,可以联系我们,Datavane 欢迎你的加入,一个人可以走的很快,一群人一定走的更远。
欢迎各大社区的小伙伴关注和使用 Datavane 社区的项目,如果你正在使用 Datavane 社区的项目,请多多反馈。我们诚挚欢迎更多的贡献者参与到社区建设中来,相信因为你的到来社区会变得更好,我们一道共同努力,共同建设。
💻 GitHub:https://github.com/datavane
🧐 官网:https://www.datavane.org
💁♀️ 社区沟通:
参考资料
[1] @Datavaen: https://www.datavane.org
[2] @TIS: https://github.com/datavane/tis
[3] @DataSophon: https://github.com/datavane/datasophon
[4] @Datavines: https://github.com/datavane/datavines