Datavane:一个专注于大数据领域的开源组织正式成立了




好消息! 在经过许久筹备,Datavane[1] 开源社区(组织) 终于正式成立了。Datavane 是一个专注于大数据领域的开源社区(组织),由一群大数据领域优秀的开源项目作者共同创建,
旨在真正的去帮助开源项目作者更好的建设项目、为大众提供高质量的开源软件,我们的宗旨是:只为做一个好软件。

在 Datavane 社区中,所有的项目都是开源开放的,代码质量和架构设计优质的潜力项目。我们相信开源、相互信任,鼓励所有的开发者、用户和贡献者积极参与我们的社区、共同合作,创新创造,建设一个更加强大的开源社区。

我们准备了一批优质的项目,等待和社区一同发布和大家见面,下面让我看看都有哪些精彩的项目吧!

 

#1. TIS - 人人都会用的数据集成产品


TIS[2] 是采用 Java 语言开发的,一款面向大数据领域端到端的数据集成产品,致力于提供一站式的数据集成能力,目标是打造成人人都会用的数据集成产品。


TIS 同时支持离线和实时数据同步,可以将作业部署到 YARN/K8S 上,充分利用大数据的并行能力,迁移数据性能优异。TIS 非常的简单易用:它内置了一个强大的表单和 DSL 自动渲染引擎,将构建复杂表单系统的复杂度大大降低,在与用户交互过程中大量使用了自动生成、流程引导的方式,大部分流程环节用户只需要做选择,无需使用键盘,只需轻点鼠标一路下一步,就能顺利构建作业。

TIS 提供一个强大的基于插件 SPI 的热插拔系统,提供了像安卓 AppStore 一样的插件商店,需要什么插件可以直接在插件列表中勾选、启用。避免了传统数据集成产品中需要用户本地编译、安装、配置、重启系统的繁琐流程。
 

TIS 已经过四年的打磨,支持了 MySQL,Doris,ES,Hive,Hudi... 等十多种常见数据库,累积 40 余万行代码,100 余位用户使用,Github Star 600+,项目采用 Apache License v2 开源协议,最大限度地借助开源社区的力量来丰富完善功能。

 

#2.  DataSophon - 大数据云原生管家


DataSophon[3] 是新一代云原生大数据管家,致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台,帮助用户快速构建起稳定、高效、自愈、可弹性伸缩的大数据云原生平台。



DataSophon 兼容复杂环境,得益于自身良好的架构设计,可轻松适应各种复杂环境,平台和大数据组件均支持 arm 和 x86 机器部署,支持 CentOs、麒麟、欧拉、中科方德等常用的 Linux 生态操作系统。


DataSophon 基于生产实践提供了用户最关心的监控指标,包括:JMX 全量指标、HTTP 常用指标、自定义指标,通过预置的监控模板,用户可以查看各类服务组件详细的监控指标,也可以很方便地添加所需的自定义监控指标。
 

DataSophon 支持了丰富的大数据组件,目前已经支持多种常用大数据组件,例如大数据基础组件:  HDFS、YARN、Zookeeper、Hive 等,也支持很多新晋Apache 项目,如: Flink、Spark、StreamPark、Doris 等... 用户可以根据自身业务特点,选择相应的组件来搭建自己的大数据平台,DataSophon 可方便地对集群、节点和服务进行监控和运维操作,帮助用户大幅提升运维工作效率,让数据工程师更专注于业务开发。

#3. Datavines - 数据可观测性平台
 

Datavines[4]  是一站式开源数据可观测性平台,提供元数据管理、数据概览报告、数据质量管理,数据分布查询、数据趋势洞察等核心能力,致力于帮助用户全面地了解和掌管数据。让您做到心中有数。

Datavines 采用 Framework + Plugin 的设计模式,支持数据源、执行引擎、数据质量检查规则(规则+期望值+校验公式)、注册中心、告警通道和错误数据存储的自定义插件扩展,拥有较高的扩展性。Datavines 目前支持包含 MySQL、Doris 等8种数据源类型、27 个数据质量检查规则以及 Spark 和 Jdbc 两种执行引擎等。


Datavines 具有高可用和高性能的特性。后端采用无中心化设计,支持水平扩展,能够支撑大量的数据质量检查规则的调度和执行,同时具有良好的容错机制来保证服务宕机后的作业容错,保证作业不丢失和不重复执行。


Datavines 提供可视化界面帮助用户进行数据探测以生成数据概览报告,提供界面操作和脚本运行两种方式进行数据质量检查,并支持检查结果的问题管理和告警。

 

加入我们

Datavane 从名字确定到社区成立,包含着创始团队的大量心血,如今终于得以和大家见面,我们将秉承做一个好软件的宗旨,保持开源开放的态度,高度关注项目的质量和社区发展,聚集更多的开源项目作者和广大开发者,共同打造一个开源项目建设和技术交流的乐园,目前已经有一批非常优秀的开源项目加入,我们欢迎更多的项目加入 Datavane 组织,相信每一个开源项目作者都是心怀远大,目标高远,如果你是在孤独前行,感觉太累, 亦或者你想走的更远,可以联系我们,Datavane 欢迎你的加入,一个人可以走的很快,一群人一定走的更远。
 

欢迎各大社区的小伙伴关注和使用 Datavane 社区的项目,如果你正在使用 Datavane 社区的项目,请多多反馈。我们诚挚欢迎更多的贡献者参与到社区建设中来,相信因为你的到来社区会变得更好,我们一道共同努力,共同建设。

 

💻 GitHub:https://github.com/datavane

🧐 官网:https://www.datavane.org

💁‍♀️ 社区沟通:


参考资料

[1] @Datavaen: https://www.datavane.org
[2] @TIS: https://github.com/datavane/tis
[3] @DataSophon: https://github.com/datavane/datasophon
[4] @Datavines: https://github.com/datavane/datavines


相關推薦

2023-09-28

演进都面临组件栈管理的问题,鉴于此 DataSophon 作为 Datavane 开源组织的推荐项目重磅开源。 DataSophon 是一个国产开源的大数据管理平台,在兼顾传统 Hadoop 组件的同时又支持新一代大数据组件栈,并且支持云原生的

2023-03-21

e Foundation,简称 W3IF)于 2023 年 2 月在香港成立。 W3IF 是一个非营利组织,其目标是通过汇集来自世界各地的优质开源项目,以促进开源 Web3 基础架构的发展。基金会在香港设立办事处,由治理委员会管理,重大决策通过透明的

2022-09-15

Rust 编程语言的非营利组织 Rust 基金会宣布,将建立一个专门的安全团队;由 OpenSSF 的 Alpha-Omega Initiative (一个专注于开源软件供应链安全的 Linux 基金会项目) 以及该基金会的最新白金会员、Devops 平台供应商 JFrog 提供支持。

2022-12-01

F,共同推进开源固件的开发。 Coreboot 原名 LinuxBIOS,是一个旨在取代计算机中专有固件(BIOS 或 UEFI)的软件项目,它采用轻量级固件设计,只执行加载和运行现代 32 位或 64 位操作系统所需的最少量任务。 由于 Coreboot 要初始

2023-09-01

内外资源,推动国内需求和扩展标准的落地,为各方打造一个交流中心、合作平台和共建机构,引导产业有序协同创新,建立世界领先的RISC-V生态体系。”

2023-07-05

重要,学校面向世界科技前沿成立研究中心旨在推动相关领域有组织科研和学科发展。希望研究中心能加强统筹规划,积极探索创新治理模式。要处理好个人与集体、传承与创新、应用与理论研究的关系,统筹发展与安全,推动

2021-11-23

 12 月 1 日离开 JetBrains。 公告表示,PHP 基金会将是一个非营利组织,其使命是保证 PHP 语言的生命力和繁荣。同时,该基金会将通过 Open Collective 来实现。Open Collective 是一家处理法律和会计方面的基金会服务提供商,Vue.j

2023-07-25

知未智能技术团队从零训练开发的大语言模型“JIANG”是一个聚焦于金融和商业垂直领域的大模型。模型的训练数据以中文数据为主,并且包含大量的金融数据,以提升模型在商业和金融领域的问题处理能力。此外,训练数据中

2023-03-22

),正式加入openKylin开源社区。 巨杉数据库是一家专注分布式数据库技术研发,以成为全球数据库领导者为愿景,以深耕数据沃土,释放全量数据价值为使命的自研国产基础软件厂商。巨杉数据库自成立以来,专注数据库

2023-04-14

会,例如 Cloud Native Computing Foundation (CNCF),但它决定创建一个新的基金会,以确保 Wireshark 社区多年来建立的流程得以保留。

2022-10-29

管解决方案,后端采用 Go 编写,fork 自 Gogs。尽管 Gogs 是一个开源项目,但是它的代码仓库由单个维护者控制,这导致开源社区在开发上的互动受限。深受此苦恼的 Gitea 开发者们在 2016 年 11 月创造了 Gogs 的分支 Gitea,并且开创

2022-11-29

同时将加入社区HTML5和DE SIG组,与其他社区成员共同构建一个开放、丰富的软硬件生态体系,建设具有国际影响力的开源社区,推动国产系统产业生态健康发展。 社区会员持续招募中 目前,openKylin社区会员招募正在火热进行中

2024-02-15

进和错误修复,使其稳定并适用于生产环境。社区始终是一个成功的开源项目的核心,而 Strimzi 有一个非常积极参与的社区。我非常自豪 Strimzi 被接受为 CNCF 孵化项目,因为这将使更多的人能够信任它,并看到它在在云原生环境

2023-07-01

CEO 杨超予曾是 Databricks 的早期软件工程师。BentoML 提供了一个高层次的 API,抽象出在云上运行 AI 模型所需的基础设施的细节,旨在使开发 AI 服务更加顺畅。具体来说,BentoML 的目标是训练人工智能模型的数据科学家、管理其生