各位开发人员/伙伴大家好。
我正在开发一个聊天机器人,它使用自然语言处理(nlp)将文本转录到开始和结束位置。它是在heroku上托管的,我使用flask作为web应用程序。我必须通过调用get/init路由初始化我的nlp(使用我最喜欢的浏览器)。这个初始化是一个非常耗时的过程,所以我决定将它放在redis队列工作进程中。
我在这里学习了本教程:https://devcenter.heroku.com/articles/python-rq
问题是:我在heroku上的web dyno总是超时,似乎我的init不是在worker dyno中启动的,而是在web dyno中启动的。
所以我有了app.py文件:
from naturalLanguageProcessing import Nlp
from rq import Queue
from worker import conn
import redis
from flask import Flask
from flask import request
from flask import abort
app = Flask(__name__)
""" Reset the NLP - delete the model & train it again - THIS IS THE TIME CONSUMING FUNCTION """
def resetNlp():
NLP = Nlp()
NLP.reset()
NLP.train()
""" Init chatbot, IA, and others stuff """
@app.route('/init', methods=['GET'])
def init_entry():
# Create redis queue
q = Queue(connection=conn)
# Queue reset nlp
q.enqueue(resetNlp(), result_ttl=0, job_timeout=3600)
return 'Chatbot initialized !'
这是我的worker.py文件:
import os
import redis
from rq import Worker, Queue, Connection
listen = ['high', 'default', 'low']
redis_url = os.getenv('REDISTOGO_URL', 'redis://localhost:6379')
conn = redis.from_url(redis_url)
if __name__ == '__main__':
with Connection(conn):
print('Launching redis worker...')
worker = Worker(map(Queue, listen))
worker.work()
对于procfile(定义dynos),我有:
web: gunicorn app:app
worker: python -u worker.py
当我打开/init时,这是我从web应用程序得到的响应:
heroku[router] error at=error code=H12 desc="Request timeout" method=GET path="/init" request_id=XXXXXXXXXXXXXXXXXXX fwd="xx.xxxx.xxxxx.xx" dyno=web.1 connect=2ms service=30001ms status=503 bytes=0 protocol=https
app[web] CRITICAL [2020-11-03 19:37:38 +0000] [4] [CRITICAL] WORKER TIMEOUT (pid:18)
app[web] INFO [2020-11-03 19:37:38 +0000] [18] [INFO] Worker exiting (pid: 18)
app[web] INFO [2020-11-03 19:37:38 +0000] [32] [INFO] Booting worker with pid: 32
我应该找个聊天机器人!响应,redis worker在init进程中继续运行。。。。
各位开发人员,您对如何解决我的问题有什么想法吗?感谢您未来的帮助:)
1条答案
按热度按时间ndh0cuux1#
我觉得你应该
q.enqueue(resetNlp, result_ttl=0, job_timeout=3600)
. 所以你要传递一个要执行的函数。但你要做的是排队
resetNlp()
,它有效地执行这个函数,这显然需要足够的时间来计算,从而使您的http请求超时。