SQSを使う

キューを作るには作成要求を送信する。

{
    "QueueName": "testing_q",
    "Attributes": {
        "KeyName": ""
    },
    "tags": {
        "KeyName": ""
    }
}

キューの名前などを指定する。成功するとキューにアクセスするためのURLが払い出される。

キューにメッセージを登録するには送信要求を送信する。

{
    "QueueUrl": "http://localhost:4566/000000000000/testing_q",
    "MessageBody": "AAAA"
}

MessageBody には登録するメッセージを指定する。バイナリデータの場合はbase64で符号化する等して、文字列で表現可能な形式になるよう直列化し登録する。

キューからメッセージを取得するには受信要求を送信する。

{
    "QueueUrl": "http://localhost:4566/000000000000/testing_q",
    "VisibilityTimeout": 1,
    "WaitTimeSeconds": 2
}

登録したメッセージを取得できる。取得したメッセージは VisibilityTimeout で指定した秒数の間は再取得できなくなる。この時間が経過した後は、再度取得できる。またレシートハンドルという値も同時に取得できる。レシートハンドルはメッセージを削除する時に使用する。

メッセージは取得しただけでは削除されない。削除したければ、このメッセージを削除するという要求を送る必要がある。

{
    "QueueUrl": "http://localhost:4566/000000000000/testing_q",
    "ReceiptHandle": "czeonzsmfezmchcoiuxnpmqsfwzmjcqdohsijrgqycamujngnqgapvvfckrjlkejpmsorqlrcvxvuqheyumnkzsjlelkxilukzdppjyrxrjcjaepxzhoduowdlnqfdlpfmddluuojpjpxqadmrsubijjtydeuezeddvpbugjmbcpvvclxmgbqwecn"
}

メッセージを取得した時に、レシートハンドルという値も同時に取得できる。この値はメッセージと紐付いており、レシートハンドルを指定して削除要求を送信する事でメッセージを削除できる。レシートハンドルは不変なIDというわけではなく、同一のメッセージを再度取得した場合、メッセージが同じであっても、レシートハンドルは別の値となる。

キューにはそれぞれ属性がある。設定された属性の値により、キューの挙動が変化する。

{
    "QueueUrl": "http://localhost:4566/000000000000/testing_q"
}

{
    "Attributes": {
        "ApproximateNumberOfMessages": "0",
        "ApproximateNumberOfMessagesDelayed": "0",
        "ApproximateNumberOfMessagesNotVisible": "0",
        "CreatedTimestamp": "1684372206.490537",
        "DelaySeconds": "0",
        "LastModifiedTimestamp": "1684382380.375464",
        "MaximumMessageSize": "262144",
        "MessageRetentionPeriod": "345600",
        "QueueArn": "arn:aws:sqs:us-east-1:000000000000:testing_q",
        "ReceiveMessageWaitTimeSeconds": "0",
        "VisibilityTimeout": "30"
    }
}

{
    "QueueUrl": "http://localhost:4566/000000000000/testing_q",
    "Attributes": {
        "VisibilityTimeout": 50
    }
}

プログラムは、キューに登録されたメッセージを取得し、目的の処理を行う。その目的の処理を終えると、レシートハンドルに基いてキューからメッセージを削除する。その途中でメッセージを削除する前にエラーが発生した場合、メッセージはキューの中に残り続ける。そのメッセージが絶対に処理できない状態であった場合、メッセージを取得し、処理しようとするがエラーし削除できない。そしてまたメッセージが復活するという循環から抜け出せなくなってしまう。もし、このようなメッセージがどんどん増えて1万件になったならどうだろう。絶対に嫌だ。

このような状態を避けるために、プログラムがメッセージを受信した回数に応じて、ある回数を越えたメッセージは処理不能と判断し、別のキューにメッセージを登録し、元のキューからはメッセージを削除する。この別のキューのことをデッドレターキューと言う。

デッドレターキューはキューの RedrivePolicy 属性として登録される²。 RedrivePolicy には、デッドレターキューのARNを deadLetterTargetArn に、受信の最大回数を maxReceiveCount に設定する。つまり maxReceiveCount を超えたメッセージは処理不能として deadLetterTargetArn に設定したキューに移される。

まずはデッドレターキュー自体が無いと、デッドレターキューの設定はできないので、デッドレターキューを aws sqs create-queue で作成する。

{
    "QueueName": "dl_q"
}

作成されたキューのARNを使い、既存のキューにデッドレターキューを設定する。設定は aws sqs set-queue-attributes で行う。

{
    "QueueUrl": "http://localhost:4566/000000000000/testing_q",
    "Attributes": {
        "RedrivePolicy": "{\"deadLetterTargetArn\":\"arn:aws:sqs:us-east-1:000000000000:dl_q\",\"maxReceiveCount\":\"2\"}"
    }
}

この設定では2回目のメッセージを受信した後、可視性タイムアウトの時間切れまでにメッセージの削除が行なわれない場合、そのメッセージはデッドレターキューに移される。

フライト中(つまりReceiveMessageされたけれど、まだDeleteMessageされていない)のメッセージと同一と判定されるメッセージを送信した場合はどうなるか、気になったので調べた。