我正在开发一个应用程序,该应用程序旨在根据SeleniumWebDriver创建的屏幕截图创建演示文稿。技术堆栈: Python 3.8.6
, Flask 1.1.2
, Celery 4.4.7
,
Redis server 4.0.9 Ubuntu 18.04.3 LTS
. 当我只添加一个任务时,celery 工人工作得很好,但是当我尝试一个接一个地调用2或3个任务时,任务被接收但从未执行。添加任务的时间也会影响工作人员的行为。当我添加一个任务-等待约2秒,然后再添加第二个-所有任务都可以正常执行。但是当我尝试添加3个任务时-总是有问题。有时第一个任务被执行,但其他任务没有执行,但有时没有执行。这是我的代码示例:
我正在运行$.ajax的任务-帖子:
$.ajax({
type: 'POST',
url: '/presentationTask/1234/4321',
data: {
filters_array: JSON.stringify([
{ filterTable : "Location", filterColumn: "City", filterValue: "Chicago, IL" }
])
},
success: function(data, status, request) {
status_url = request.getResponseHeader('Location');
update_progress(status_url, nanobar, div[0]);
},
error: function() {
alert('Unexpected error');
}
});
路由:
@bp.route('/presentationTask/<workspaceId>/<reportId>', methods=['POST'])
def presentationTask(workspaceId,reportId):
filters = request.form['filters_array']
task = createPresentation.apply_async(args=[workspaceId,reportId,filters])
return jsonify({}), 202, {'Location': url_for('tasks.taskstatus',
task_id= task.id)}
在方法“createPresentation”中,我必须多次调用“createscreen”任务,所以我使用“signature”和“group”在组中运行任务。我正在等待所有任务完成,然后通过“join()/join\u native()”加入它们的结果
@celery.task(bind=True)
def createPresentation(self, workspaceId, reportId, filterValues):
self.update_state(state='PENDING')
.
.
.
for filter in json_filters:
for page in json_pages["value"]:
jobList.append(createScreen.signature(args=[workspaceId, reportId, page["Name"],
filter['filterTable'], filter['filterColumn'], filter['filterValue'], currentIndex,
page["displayName"]]))
pageReportJob = group(jobList)
results = pageReportJob.apply_async()
while not results.ready():
current = results.completed_count()
self.update_state(
state='PROGRESS',
meta={'current': current, 'total': total,'status': message})
time.sleep(2)
with allow_join_result():
results.join_native()
....
我在指挥celery 工人:
celery worker -A celery_worker.celery --loglevel=info --without-gossip
--without-mingle --without-heartbeat -Ofair
1条答案
按热度按时间olqngx591#
我找到了一个解决方案-我安装了flower来监视celery 任务,我注意到celery 为2个主要任务(createpresentation)分配内存,并等待(createscreen)任务执行,但它们永远不会执行,因为所有cpu/线程都被任务(createpresentation)占用。所以我创建了两个队列,一个高优先级为createscreen,一个默认优先级为createpresentation。然后我创建celery 路径并指定每个路径的路径。