Pyspark -通过Synapse Notebook读取日志分析表

v09wglhw  于 2023-05-06  发布在  Spark
关注(0)|答案(1)|浏览(157)

我正在尝试创建一个pyspark dataframe,从Synapse Notebook读取日志分析表。
我使用了这个代码,但没有成功:

df_lg_tb = spark.read.format("com.microsoft.kusto.spark.datasource") \
    .option("kustoCluster", "https://<workspace-id>.ods.opinsights.azure.com") \
    .option("kustoDatabase", "<my-log-analytics-database-name>") \
    .option("kustoQuery", "AzureActivity|take 10") \
    .option("kustoAADUserId", "<workspace-id>") \
    .option("kustoAADPassword", "<workspace-key>") \
    .load()

有谁知道另一种连接方式吗?
多谢了!

23c0lvtd

23c0lvtd1#

在运行上述代码之前,请确保已添加日志分析工作区连接

https://ade.loganalytics.io/subscriptions/<subscription_id>/resourcegroups/<resource_group_name>/providers/microsoft.operationalinsights/workspaces/<workspace_name>

到kustos星团就像下面这样。

检查您是否具有所有必需的权限和角色,并尝试运行上述代码。
如果这不起作用,您可以尝试以下方法作为解决方案。

  • 使用Python SDK通过传递查询读取表数据。通过这个文档样本来了解它。
  • 首先将日志分析表数据导出到存储账号,然后通过挂载将存储账号中的数据读取到synapse notebook。详细步骤请参考@Shemer Steinlauf撰写的blog

相关问题