heroku上的redis队列和 flask 应用程序一直超时

wswtfjt7  于 2021-06-09  发布在  Redis
关注(0)|答案(1)|浏览(448)

各位开发人员/伙伴大家好。
我正在开发一个聊天机器人,它使用自然语言处理(nlp)将文本转录到开始和结束位置。它是在heroku上托管的,我使用flask作为web应用程序。我必须通过调用get/init路由初始化我的nlp(使用我最喜欢的浏览器)。这个初始化是一个非常耗时的过程,所以我决定将它放在redis队列工作进程中。
我在这里学习了本教程:https://devcenter.heroku.com/articles/python-rq
问题是:我在heroku上的web dyno总是超时,似乎我的init不是在worker dyno中启动的,而是在web dyno中启动的。
所以我有了app.py文件:

from naturalLanguageProcessing import Nlp
from rq import Queue
from worker import conn
import redis
from flask import Flask
from flask import request
from flask import abort

app = Flask(__name__)

""" Reset the NLP - delete the model & train it again - THIS IS THE TIME CONSUMING FUNCTION """
def resetNlp():
  NLP = Nlp()
  NLP.reset()
  NLP.train()

""" Init chatbot, IA, and others stuff """
@app.route('/init', methods=['GET'])
def init_entry():
  # Create redis queue
  q = Queue(connection=conn)

  # Queue reset nlp
  q.enqueue(resetNlp(), result_ttl=0, job_timeout=3600)

  return 'Chatbot initialized !'

这是我的worker.py文件:

import os

import redis
from rq import Worker, Queue, Connection

listen = ['high', 'default', 'low']

redis_url = os.getenv('REDISTOGO_URL', 'redis://localhost:6379')
conn = redis.from_url(redis_url)

if __name__ == '__main__':
  with Connection(conn):
    print('Launching redis worker...')
    worker = Worker(map(Queue, listen))
    worker.work()

对于procfile(定义dynos),我有:

web: gunicorn app:app
worker: python -u worker.py

当我打开/init时,这是我从web应用程序得到的响应:

heroku[router] error at=error code=H12 desc="Request timeout" method=GET path="/init" request_id=XXXXXXXXXXXXXXXXXXX fwd="xx.xxxx.xxxxx.xx" dyno=web.1 connect=2ms service=30001ms status=503 bytes=0 protocol=https
app[web] CRITICAL [2020-11-03 19:37:38 +0000] [4] [CRITICAL] WORKER TIMEOUT (pid:18)
app[web] INFO [2020-11-03 19:37:38 +0000] [18] [INFO] Worker exiting (pid: 18)
app[web] INFO [2020-11-03 19:37:38 +0000] [32] [INFO] Booting worker with pid: 32

我应该找个聊天机器人!响应,redis worker在init进程中继续运行。。。。
各位开发人员,您对如何解决我的问题有什么想法吗?感谢您未来的帮助:)

ndh0cuux

ndh0cuux1#

我觉得你应该 q.enqueue(resetNlp, result_ttl=0, job_timeout=3600) . 所以你要传递一个要执行的函数。
但你要做的是排队 resetNlp() ,它有效地执行这个函数,这显然需要足够的时间来计算,从而使您的http请求超时。

相关问题