有许多方法可以安排此任务。如何安排工作流程？您使用的系统是airflow、luigi、azkaban、cron还是aws数据管道？
从这些命令中，您应该能够启动以下cli命令。 $ aws athena start-query-execution --query-string "MSCK REPAIR TABLE some_database.some_table" --result-configuration "OutputLocation=s3://SOMEPLACE" 另一个选择是aws lambda。你可以有一个函数 MSCK REPAIR TABLE some_database.some_table 作为对s3新上传的回应。
示例lambda函数可以这样编写：

import boto3

def lambda_handler(event, context):
    bucket_name = 'some_bucket'

    client = boto3.client('athena')

    config = {
        'OutputLocation': 's3://' + bucket_name + '/',
        'EncryptionConfiguration': {'EncryptionOption': 'SSE_S3'}

    }

    # Query Execution Parameters
    sql = 'MSCK REPAIR TABLE some_database.some_table'
    context = {'Database': 'some_database'}

    client.start_query_execution(QueryString = sql, 
                                 QueryExecutionContext = context,
                                 ResultConfiguration = config)

然后，您将配置一个触发器，以便在将新数据添加到 DATA/ 在你的桶里。
最终，在使用作业调度器运行spark作业之后显式地重建分区具有自文档化的优势。另一方面，aws lambda对这样的工作很方便。

你应该跑步 ADD PARTITION 取而代之的是：

aws athena start-query-execution --query-string "ALTER TABLE ADD PARTITION..."

它在新创建的分区中添加一个 S3 位置athena利用hive对数据进行分区。要创建带有分区的表，必须在 CREATE TABLE 声明。使用 PARTITIONED BY 定义用于划分数据的键。