celery 任务和组中的任务已接收但未执行

4dc9hkyq  于 2021-06-08  发布在  Redis
关注(0)|答案(1)|浏览(525)

我正在开发一个应用程序,该应用程序旨在根据SeleniumWebDriver创建的屏幕截图创建演示文稿。技术堆栈: Python 3.8.6 , Flask 1.1.2 , Celery 4.4.7 ,
Redis server 4.0.9 Ubuntu 18.04.3 LTS . 当我只添加一个任务时,celery 工人工作得很好,但是当我尝试一个接一个地调用2或3个任务时,任务被接收但从未执行。添加任务的时间也会影响工作人员的行为。当我添加一个任务-等待约2秒,然后再添加第二个-所有任务都可以正常执行。但是当我尝试添加3个任务时-总是有问题。有时第一个任务被执行,但其他任务没有执行,但有时没有执行。这是我的代码示例:
我正在运行$.ajax的任务-帖子:

$.ajax({
    type: 'POST',
    url: '/presentationTask/1234/4321',
    data: {
           filters_array: JSON.stringify([
               { filterTable : "Location", filterColumn: "City", filterValue: "Chicago, IL" }
    ])
    },
    success: function(data, status, request) {
        status_url = request.getResponseHeader('Location');
        update_progress(status_url, nanobar, div[0]);
    },
    error: function() {
       alert('Unexpected error');
    }
});

路由:

@bp.route('/presentationTask/<workspaceId>/<reportId>', methods=['POST'])
def presentationTask(workspaceId,reportId):
    filters = request.form['filters_array']
    task = createPresentation.apply_async(args=[workspaceId,reportId,filters])  

return jsonify({}), 202, {'Location': url_for('tasks.taskstatus',
                                                  task_id= task.id)}

在方法“createPresentation”中,我必须多次调用“createscreen”任务,所以我使用“signature”和“group”在组中运行任务。我正在等待所有任务完成,然后通过“join()/join\u native()”加入它们的结果

@celery.task(bind=True)
def createPresentation(self, workspaceId, reportId, filterValues):
    self.update_state(state='PENDING')
    .
    .
    .

    for filter in json_filters:
        for page in json_pages["value"]:
            jobList.append(createScreen.signature(args=[workspaceId, reportId, page["Name"], 
                    filter['filterTable'], filter['filterColumn'], filter['filterValue'], currentIndex, 
                    page["displayName"]]))

    pageReportJob = group(jobList)
    results = pageReportJob.apply_async()

    while not results.ready():
        current = results.completed_count()

        self.update_state(
            state='PROGRESS',
            meta={'current': current, 'total': total,'status': message})  
        time.sleep(2)

    with allow_join_result():
        results.join_native()
    ....

我在指挥celery 工人:

celery worker -A celery_worker.celery --loglevel=info --without-gossip 
--without-mingle --without-heartbeat -Ofair
olqngx59

olqngx591#

我找到了一个解决方案-我安装了flower来监视celery 任务,我注意到celery 为2个主要任务(createpresentation)分配内存,并等待(createscreen)任务执行,但它们永远不会执行,因为所有cpu/线程都被任务(createpresentation)占用。所以我创建了两个队列,一个高优先级为createscreen,一个默认优先级为createpresentation。然后我创建celery 路径并指定每个路径的路径。

CELERY_DEFAULT_QUEUE = 'default'
CELERY_QUEUES = (
    Queue('default'),
    Queue('priority_high'),
)

CELERY_ROUTES = {
    'app.screenshots.services.createScreen': {'queue': 'priority_high'},
    'app.presentation.services.createPresentation': {'queue': 'default'},
}

相关问题