sqs maxnumberofmessages

ws51t4hk  于 2021-07-12  发布在  Java
关注(0)|答案(3)|浏览(320)

我使用java客户机应用程序查询sqs队列中的消息。队列有12000条消息作为测试设置。我正在使用openjdk和aws java sdk最新版本(software.amazon.awssdk 2.10.62)pom.xml显示在下面。
我看到的问题是,尽管设置了maxnumberofmessages(10),但我只得到3条消息。我知道这是一个最大值,不能保证消息的数量,但是返回的消息数量没有波动。总是3。
aws文档:maxnumberofmessages返回的最大消息数。amazonsqs从不返回超过这个值的消息(但是,返回的消息可能会更少)。有效值:1到10。默认值:1。类型:需要整数:否
使用短轮询消费消息
当您使用短轮询使用队列中的消息时,amazonsqs会对其服务器的一个子集进行采样(基于加权随机分布),并仅返回来自这些服务器的消息。因此,特定的receivemessage请求可能不会返回您的所有消息。但是,如果队列中的消息少于1000条,则随后的请求将返回消息。如果您继续从队列中消费,amazonsqs将对其所有服务器进行采样,您将收到所有消息。
因此,我们使用旧的awsdk和新的awsdk在java中测试了两个客户机,结果相同。总是只回3条信息。
有趣的是,如果不是在外部(在我强大的桌面上)运行应用程序,而是以aws lambda的形式运行,则会收到10条消息。这个lambda测试是由一位同事使用javascript完成的。
所以问题仍然是,为什么我们每次请求只能收到3条消息,而在lambda范围内,似乎可以收到10条。
假设每个请求有一个成本,则是基于amazon profit=)的加权随机分布)
sqs试验方法:

public void SQStart()
{
    AwsBasicCredentials awsCreds = AwsBasicCredentials.create("accessKeyID", "secretKeyID");
    AwsCredentialsProvider creds = StaticCredentialsProvider.create(awsCreds);
    SqsClient sqs = SqsClient.builder().credentialsProvider(creds).region(Region.EU_WEST_1).build();
    GetQueueUrlRequest getQueueRequest = GetQueueUrlRequest.builder()
            .queueName(QUEUE_NAME)
            .build();
    String queueUrl = sqs.getQueueUrl(getQueueRequest).queueUrl();

    for (int x =1; x < 100; x++) {
        ReceiveMessageRequest receiveMessageRequest = ReceiveMessageRequest.builder()
                .queueUrl(queueUrl)
                .maxNumberOfMessages(10)
                .build();

        List<Message> messages = sqs.receiveMessage(receiveMessageRequest).messages();
        if (messages.size() > 3 ) {
            System.out.println("YEY More than 3 Messages: "+ messages.size());
        }
    }
}

pom.xml文件:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>groupId</groupId>
    <artifactId>SQSTest</artifactId>
    <version>1.0-SNAPSHOT</version>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>8</source>
                    <target>8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>software.amazon.awssdk</groupId>
                <artifactId>bom</artifactId>
                <version>2.10.62</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>

            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>software.amazon.awssdk</groupId>
            <artifactId>sqs</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.9</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpcore</artifactId>
            <version>4.4.10</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>commons-logging</groupId>
            <artifactId>commons-logging</artifactId>
            <version>1.2</version>
        </dependency>
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-s3</artifactId>
            <version>1.11.720</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.6.1</version>
        </dependency>
    </dependencies>
</project>
2cmtqfgy

2cmtqfgy1#

假设每个请求有一个成本,则是基于amazon profit=)的加权随机分布)
很明显,您的目标是降低成本,无论是通过向sqs发送较少的请求,还是通过强制sqs提供最大数量的可用消息。
如您在问题中所述,sqs没有义务提供最大数量的可用消息。不过,有件事我想告诉你,假设你还不知道的话。

长轮询

《amazon简单队列服务开发人员指南》指出:
使用队列中的消息的过程取决于使用短轮询还是长轮询。默认情况下,amazonsqs使用短轮询,仅查询其服务器的子集(基于加权随机分布)以确定是否有任何消息可用于响应。您可以使用长轮询来降低成本,同时允许用户在到达队列时立即接收消息。
您发送给sqs的消息可能都存储在不同的服务器上。如文档所述,如果队列设置为使用短轮询,则只能查询服务器的子集。我猜你在调用 receiveMessage 而且只有 3 每次都被送回。
如果我们在同一个文档页面上查看长时间轮询的好处,它会指出:
长轮询提供以下好处:
通过允许amazonsqs在发送响应之前等待队列中的消息可用,消除空响应。除非连接超时,否则对receivemessage请求的响应至少包含一条可用消息,最多包含receivemessage操作中指定的最大消息数。
通过查询所有而不是amazonsqs服务器的子集来消除假空响应。
第二颗子弹在这里非常重要。即使没有看到空的响应,也可能有更多存储在服务器上的消息没有被查询。如果您启用长轮询,那么您可能会看到返回的消息量增加,假设总共有3个以上的服务器。
因此,我的建议是对您的队列启用长轮询。为此,请参阅设置长轮询页面。
正如devilcode在下面的评论中提到的,他能够通过使用fifo队列而不是标准队列,并通过对其启用长轮询来解决问题。

vshtjzan

vshtjzan2#

我认为这是一个类似的问题。正如雅各布所指出的,长期投票似乎是解决这个问题的办法。

uemypmqf

uemypmqf3#

长轮询:

ReceiveMessageRequest receiveMessageRequest = new ReceiveMessageRequest(queueUrl)
              .withWaitTimeSeconds(10)     // long poll: wait 10 seconds, max is 20 seconds
              .withMaxNumberOfMessages(10);

相关问题