Databricks 是一家从加州大学伯克利分校的 AMPLab 项目发展而来的公司,由 Apache Spark 的创建者创立。
注:Apache Spark 是一个开源的统一分析引擎,用于大规模数据处理,该项目最初是由加州大学伯克利分校的 AMPLab 开发,后来捐赠给 Apache 软件基金会(ASF)。
Databricks 近日宣布,推出了用于 Databricks 的 Visual Studio Code 扩展。
这个新的扩展可以让开发者利用 VS Code 的强大功能在本地编写代码,同时连接到 Databricks 集群并远程运行代码,开发者在这个过程中可以使用 VS Code 中自己熟悉的各种功能,包括代码版本控制、单元测试、高级查找和替换、窗口拆分,以及 CI/CD 等来加速开发。
Databricks 在官方公告中表示,对于依赖 IDE 进行开发的团队,VS Code Extension for Databricks 将是许多计划版本中的第一个,而且 Databricks 正在大力投资开发者生态,还会推出对其他 IDE 和工具的支持。
根据官方介绍,VS Code Extension for Databricks 目前具有的功能包括,将代码同步到 Databricks 工作区、在 Databricks 集群上运行 Python 文件,以及作为工作流运行 notebooks 和 Python 文件等。
当然为了使用这个扩展,它也具有一定的使用要求:
- 具备以下条件的 Databricks 工作空间
- 启用
Repos
- 启用
Files in Repos
- 启用
- 允许使用个人访问令牌(PAT)或 Azure AD CLI 访问工作区
- 访问交互式集群或创建集群的权限
- 创建 Databricks Repos 的权限
目前这个 Databricks 扩展已经上架 Visual Studio Marketplace,同时还托管到了 GitHub 平台。支持 Windows(ARM + x64)、Linux(x64 + ARM64)、macOS(Apple Silicon + Intel)。