腾讯开源分布式数据科学组件:Fast-Causal-Inference


多元共进|2023 Google 开发者大会精彩演讲回顾

腾讯宣布开源分布式数据科学组件项目 Fast-Causal-Inference。这是由腾讯微信研发,采用SQL交互的,基于分布式向量化的统计分析、因果推断计算库;目前已在微信视频号、微信搜一搜等微信内部多个业务进行了应用。

根据介绍,该项目旨在解决已有统计模型库(R/Python)在大数据下的性能瓶颈,提供百亿级数据秒级执行的Causal inference能力。同时通过SQL语言降低统计模型使用门槛,易用于生产环境中。

项目主要优势

1、提供海量数据秒级执行的Causal inference能力

基于向量化OLAP执行引擎ClickHouse/StarRocks,速度上更益于极致化用户体验

2、极简的SQL使用方式

SQLGateway WebServer通过SQL语言降低统计模型使用门槛,并在上层提供极简的SQL使用方式,透明做引擎相关的SQL展开和优化

3、提供基础算子、高阶算子的因果推断能力, 及上层的应用封装

支持 ttest, OLS, Lasso, Tree-based model, matching, bootstrap, DML等

首个版本已经支持如下 Feature

基础因果推断工具

  1. 基于deltamethod的ttest,支持CUPED
  2. OLS,亿行数据,亚秒级

进阶因果推断工具

  1. 以OLS为基础的 IV,WLS,以及其他GLS,DID,合成控制,CUPED,mediation正在孵化
  2. uplift:千万数据分钟级别运算
  3. bootstrap/permutation等数据模拟框架,解决没有显示解的方差估计问题

相關推薦

2023-09-14

的新成员在本次大会上重磅发布。 TDMQ RocketMQ 版是一款分布式高可用的消息队列服务,兼容 Apache RocketMQ 的各个组件与概念,支持开源客户端零改造接入,同时具备计算存储分离,灵活扩缩容的底层优势。由于其优秀的单机吞

2023-10-19

过对底层通信的封装提供RPC的调用方式,可以轻松的进行分布式应用开发;基于插件化的架构能支持多种业务通信协议,灵活对接各种微服务治理平台,帮助业务快速构建所需的微服务体系。 架构设计 tRPC在架构设计上采用插

2022-12-22

(Polaris Mesh)是开源的一体化服务治理平台,致力于解决分布式和微服务架构中的服务管理、流量管理、故障容错和配置管理问题,提供业务监控、流量监控、事件中心和操作记录等全方位的可观测性能力,帮助用户快速低门槛

2023-02-24

星策社区、TGO 鲲鹏会等开源社区代表以及华为、百度、腾讯等企业代表出席活动。 中国科学院院士吕建表示,我们正处于软件定义一切的信息新时代,开源软件是当前软件产业中不可或缺的重要环节。开源创新成为国家重大

2023-09-01

数据库(Tencent Cloud VectorDB)是一款全托管的自研企业级分布式数据库服务,专用于存储、检索、分析多维向量数据,支持多种索引类型和相似度计算方法。该数据库不仅能为大模型提供外部知识库,提高大模型回答的准确性,

2022-12-22

+sentinel 体系 + 权限管理 + elasticsearch 日志 + 数据加解密 + 分布式追踪(基于 opentracing)) inter-boot-generator        代码在线生成平台 inter-boot-fastdfs             FastDFS 权限文件管理(后续改名 at

2023-10-08

 Spring Boot +MybatisPlus+XXL-JOB+redis+Vue的前后端分离、分布式、单体架构的Java商城系统,采用稳定框架开发及优化核心,减少依赖,具备出色的执行效率,扩展性、稳定性高,H5/小程序/APP三端合一数据打通,Smart shop将持续收

2022-09-30

-Cloud-Plus 重写 RuoYi-Cloud 全方位升级(不兼容原框架) 分布式集群分支 RuoYi-Vue-Plus 重写 RuoYi-Vue (不兼容原框架) 前端开发框架 Vue、Element UI   后端开发框架 SpringBoot   微服务开发框架 SpringCloud &n

2023-05-11

、OpenJS 基金会执行董事 Robin Ginn,以及来自百度、华为、腾讯、火山引擎、红帽、Intel、VMWare、F5、微软、开源PHP等企业的全球开源重磅嘉宾出席,并汇聚十余开源PHP投资人,为开发者、为行业分享开源的观点、经验借鉴、未来

2023-06-14

6月11日,在2023开放原子全球开源峰会上,腾讯正式宣布将打磨多年的编译器软件OpenKona JDK捐赠给开放原子开源基金会,联合基金会以及数以百万计开发者,共建国产编译器基础软件,推动数字基础设施加速突破。 在软件开发

2022-08-09

tor替换vditor markdown转html 系统介绍 酷瓜云课堂,依托腾讯云基础服务架构,采用C扩展框架Phalcon开发,GPL-2.0开源协议,致力开源网课系统,开源网校系统,开源知识付费系统,开源在线教育系统。 系统功能 实现了点播

2023-04-04

脚本转换为 Katib Experiment。 Training operator Kubeflow 的统一分布式 Training operator 的增强功能包括用于微调资源扩展的配置选项(处理器、内存、存储)。它现在包括对 Pytorch Elastic 工作负载的 HPA 支持,用户可以在 Job Spec 中指定目

2022-06-29

TDesign 是一款诞生于腾讯内部、拥有完整的设计价值观和视觉风格指南的企业级设计体系,同时提供了丰富的设计资源,在设计体系基础上产出基于 Vue、React、小程序等业界主流技术栈的组件库解决方案,适合用于构建设计

2023-01-13

~~待补充 平台简介 RuoYi-Vue-Plus 是重写 RuoYi-Vue 针对 分布式集群 场景全方位升级(不兼容原框架) 项目代码、文档 均开源免费可商用 遵循开源协议在项目中保留开源协议文件即可 活到老写到老 为兴趣而开源 为学习而开