pyspark DataBricks将# MAGIC添加到每一个Python笔记本系列的前面

disho6za 于 2022-11-01 发布在 Spark

关注(0)|答案(1)|浏览(142)

我的设置包含连接到Azure DataBricks的git存储库，这允许在PyCharm中开发数据库Python笔记本，推送到存储库并在DataBricks UI中运行更新的笔记本。
每当我从WebUI更改笔记本文件并执行提交时，笔记本文件中的所有行都会在前面加上# MAGIC：


# Databricks notebook source

%pip install -r "../requirements.txt"

import os

变为：


# Databricks notebook source

# MAGIC %pip install -r "../requirements.txt"

# MAGIC

# MAGIC import os

如何修复来自Azure DataBricks的提交以在推送时不更改文件？

pyspark

来源：https://stackoverflow.com/questions/72347199/databricks-adds-magic-in-front-of-every-python-notebook-line

1条答案

按热度按时间

8i9zcol21#

这与Azure DataBricks混合magic命令和python代码的方式有关。当笔记本电脑（来自Azure DataBricks UI）被拆分为单独的部分时，一个部分仅包含magic命令%sh pwd，其他部分仅包含python代码，提交的文件不会混乱。
从文本文件中，单独的部分看起来如下：


# Databricks notebook source

# MAGIC %sh pwd

# COMMAND --------

<python code goes here>

赞(0）回复(0）举报 2022-11-01

我来回答

pyspark DataBricks将# MAGIC添加到每一个Python笔记本系列的前面

1条答案

相关问题

热门标签

最新问答