azure ADLS Gen2中每个文件夹的平均文件大小[已关闭]

a6b3iqyw  于 2023-10-22  发布在  其他
关注(0)|答案(1)|浏览(109)

已关闭此问题为not about programming or software development。它目前不接受回答。

这个问题似乎不是关于a specific programming problem, a software algorithm, or software tools primarily used by programmers的。如果你认为这个问题与another Stack Exchange site的主题有关,你可以留下评论,解释在哪里可以回答这个问题。
昨天关门了。
Improve this question
请建议一种经济有效的方法来获得每个文件夹的文件数,并计算ADLS Gen2存储帐户的平均大小。有没有办法将ADLS Gen2元数据导入ADX,存储它并使用KQL进行查询?
到目前为止,我已经找到了一种用ADX查询文件内容的方法,但这不是我的目的。我只需要访问元数据,如文件大小,最后访问日期等。
我也非常不喜欢使用递归迭代读操作,这是相当昂贵的。如此处所建议的https://azuredude.blogspot.com/2020/10/get-azure-data-lake-gen2-container.htmlhttps://cloudarchitected.com/2019/05/computing-total-storage-size-of-a-folder-in-azure-data-lake-storage-gen2/

egdjgwm8

egdjgwm81#

有一个类似的要求,为我们的客户之一,我们最终写了一个自定义脚本,获得此信息。从脚本生成的输出中,您可以将此Meta信息存储在ADX中

#!/bin/bash

# Set your storage account and file system (container) name
STORAGE_ACCOUNT_NAME="your_storage_account_name"
FILE_SYSTEM_NAME="your_file_system_name"

# List all the directories in the file system
for DIRECTORY in $(az storage fs directory list --account-name $STORAGE_ACCOUNT_NAME --filesystem-name $FILE_SYSTEM_NAME --query "[].name" -o tsv); do
    echo "Directory: $DIRECTORY"
    
    # For each directory, list all the files and their metadata
    az storage fs file list --account-name $STORAGE_ACCOUNT_NAME --filesystem-name $FILE_SYSTEM_NAME --path $DIRECTORY --query "[].{name:name, fileSize:contentLength, lastModified:lastModified}" -o table
done

相关问题