在palantir foundry中为特定类型的所有列创建期望

oyjwcjzk  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(313)

我用一个 expectations 以及 Check 确定十进制类型的列是否可以转换为int或long类型。如果列包含整数或小数,而小数部分仅包含零,则可以安全地进行转换。我用regex函数检查它 rlike ,因为我找不到使用 expectations .
问题是,我能对decimal类型的所有列进行这样的检查而不显式列出列名吗? df.columns 因为我们还没有进入 my_compute_function .

from transforms.api import transform_df, Input, Output, Check
from transforms import expectations as E

@transform_df(
    Output("ri.foundry.main.dataset.1e35801c-3d35-4e28-9945-006ec74c0fde"),
    inp=Input(
        "ri.foundry.main.dataset.79d9fa9c-4b61-488e-9a95-0db75fc39950",
        checks=Check(
            E.col('DSK').rlike('^(\d*(\.0+)?)|(0E-10)$'),
            'Decimal col DSK can be converted to int/long.',
            on_error='WARN'
        )
    ),
)
def my_compute_function(inp):
    return inp

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题