我有一个SQL表,其中充满了第一天的挂单。在第二天的特定时间,我必须从DB中获取“PENDING”订单,并通过调用外部API来处理每个订单。这就是我的代码流看起来的样子:SELECT * FROM orders where status = 'PENDING' LIMIT 200
现在,我将为每个订单调用外部API,该API将返回每个订单的成功或失败,然后我将在DB中更新订单状态。UPDATE orders SET status = 'COMPLETED' WHERE id = ANY(<success list>)
UPDATE orders SET status = 'FAILED' WHERE id = ANY(<failure list>)
以上流程将继续运行多次,直到select查询返回0行。为了避免内存问题和外部API的吞吐能力,我在查询中设置了一个LIMIT。
现在,上面的流程有几个问题:
1.假设我的代码执行了SELECT查询并开始处理订单。如果我的服务在这期间崩溃了怎么办?会有一些订单会通过API,并会收到通过或失败的响应。但是我错过了在DB中更新它们的状态,因此当我的服务再次启动时,它将再次选择这些订单并再次处理它们,这是我不想要的。
1.我的服务可以从多个示例运行,因此状态= 'PENDING'的相同订单可以由不同的示例选择,从而导致同一订单的双重处理。如何避免这一点?
如果有帮助,我的技术堆栈是Go和PostgreSQL。我相信以上是一些常见的问题,必须有一些标准的方法来处理它们。我愿意改变任何部分,无论是Go代码还是DB更改,其中可能包括锁或事务。我只想向哪个方向去寻找答案。任何帮助将不胜感激。
3条答案
按热度按时间pu82cl6c1#
而不是
做了
https://stackoverflow.com/a/11769059/965900
xuo3flqw2#
当你调用一个外部API时,它可能会被破坏或超时等。您可能需要一种更逐行的方法(可能不流行,但在某些情况下仍然有用)。假设你想使用Postgres本身,而不是一些外部编程,这可能对你有用:
创建PL/pgSQL块以使用游标处理挂单:
繁重的工作在被调用的函数内部。此示例在此处放置显式提交(即每行),这可以允许一些行将工作而其他行不工作的可能性,并且它们可以稍后被拾取/重新处理。您还可以根据您的需要以及API调用实际上有多慢/多不稳定,包括“进行中”状态的逻辑。
或者,如果不需要这种程度的偏执,您可以在光标周围移动提交。注意行级提交会增加进程的时间(我不知道有多少)。它还可能对回滚日志大小等内容产生影响,因此可能会影响您的选择。
nqwrtyyt3#
首先使用Pgx库访问postgresql。然后需要使用事务和行锁定。为了提高性能,你可以使用goroutine来进行并发选择和更新。
下面给出的是相同的示例代码。代码中不包含goroutine