我使用java客户机应用程序查询sqs队列中的消息。队列有12000条消息作为测试设置。我正在使用openjdk和aws java sdk最新版本(software.amazon.awssdk 2.10.62)pom.xml显示在下面。
我看到的问题是,尽管设置了maxnumberofmessages(10),但我只得到3条消息。我知道这是一个最大值,不能保证消息的数量,但是返回的消息数量没有波动。总是3。
aws文档:maxnumberofmessages返回的最大消息数。amazonsqs从不返回超过这个值的消息(但是,返回的消息可能会更少)。有效值:1到10。默认值:1。类型:需要整数:否
使用短轮询消费消息
当您使用短轮询使用队列中的消息时,amazonsqs会对其服务器的一个子集进行采样(基于加权随机分布),并仅返回来自这些服务器的消息。因此,特定的receivemessage请求可能不会返回您的所有消息。但是,如果队列中的消息少于1000条,则随后的请求将返回消息。如果您继续从队列中消费,amazonsqs将对其所有服务器进行采样,您将收到所有消息。
因此,我们使用旧的awsdk和新的awsdk在java中测试了两个客户机,结果相同。总是只回3条信息。
有趣的是,如果不是在外部(在我强大的桌面上)运行应用程序,而是以aws lambda的形式运行,则会收到10条消息。这个lambda测试是由一位同事使用javascript完成的。
所以问题仍然是,为什么我们每次请求只能收到3条消息,而在lambda范围内,似乎可以收到10条。
假设每个请求有一个成本,则是基于amazon profit=)的加权随机分布)
sqs试验方法:
public void SQStart()
{
AwsBasicCredentials awsCreds = AwsBasicCredentials.create("accessKeyID", "secretKeyID");
AwsCredentialsProvider creds = StaticCredentialsProvider.create(awsCreds);
SqsClient sqs = SqsClient.builder().credentialsProvider(creds).region(Region.EU_WEST_1).build();
GetQueueUrlRequest getQueueRequest = GetQueueUrlRequest.builder()
.queueName(QUEUE_NAME)
.build();
String queueUrl = sqs.getQueueUrl(getQueueRequest).queueUrl();
for (int x =1; x < 100; x++) {
ReceiveMessageRequest receiveMessageRequest = ReceiveMessageRequest.builder()
.queueUrl(queueUrl)
.maxNumberOfMessages(10)
.build();
List<Message> messages = sqs.receiveMessage(receiveMessageRequest).messages();
if (messages.size() > 3 ) {
System.out.println("YEY More than 3 Messages: "+ messages.size());
}
}
}
pom.xml文件:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>groupId</groupId>
<artifactId>SQSTest</artifactId>
<version>1.0-SNAPSHOT</version>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>8</source>
<target>8</target>
</configuration>
</plugin>
</plugins>
</build>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>software.amazon.awssdk</groupId>
<artifactId>bom</artifactId>
<version>2.10.62</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>software.amazon.awssdk</groupId>
<artifactId>sqs</artifactId>
</dependency>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.9</version>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpcore</artifactId>
<version>4.4.10</version>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>commons-logging</groupId>
<artifactId>commons-logging</artifactId>
<version>1.2</version>
</dependency>
<dependency>
<groupId>com.amazonaws</groupId>
<artifactId>aws-java-sdk-s3</artifactId>
<version>1.11.720</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-simple</artifactId>
<version>1.6.1</version>
</dependency>
</dependencies>
</project>
3条答案
按热度按时间2cmtqfgy1#
假设每个请求有一个成本,则是基于amazon profit=)的加权随机分布)
很明显,您的目标是降低成本,无论是通过向sqs发送较少的请求,还是通过强制sqs提供最大数量的可用消息。
如您在问题中所述,sqs没有义务提供最大数量的可用消息。不过,有件事我想告诉你,假设你还不知道的话。
长轮询
《amazon简单队列服务开发人员指南》指出:
使用队列中的消息的过程取决于使用短轮询还是长轮询。默认情况下,amazonsqs使用短轮询,仅查询其服务器的子集(基于加权随机分布)以确定是否有任何消息可用于响应。您可以使用长轮询来降低成本,同时允许用户在到达队列时立即接收消息。
您发送给sqs的消息可能都存储在不同的服务器上。如文档所述,如果队列设置为使用短轮询,则只能查询服务器的子集。我猜你在调用
receiveMessage
而且只有3
每次都被送回。如果我们在同一个文档页面上查看长时间轮询的好处,它会指出:
长轮询提供以下好处:
通过允许amazonsqs在发送响应之前等待队列中的消息可用,消除空响应。除非连接超时,否则对receivemessage请求的响应至少包含一条可用消息,最多包含receivemessage操作中指定的最大消息数。
通过查询所有而不是amazonsqs服务器的子集来消除假空响应。
第二颗子弹在这里非常重要。即使没有看到空的响应,也可能有更多存储在服务器上的消息没有被查询。如果您启用长轮询,那么您可能会看到返回的消息量增加,假设总共有3个以上的服务器。
因此,我的建议是对您的队列启用长轮询。为此,请参阅设置长轮询页面。
正如devilcode在下面的评论中提到的,他能够通过使用fifo队列而不是标准队列,并通过对其启用长轮询来解决问题。
vshtjzan2#
我认为这是一个类似的问题。正如雅各布所指出的,长期投票似乎是解决这个问题的办法。
uemypmqf3#
长轮询: