以前、クライアントのためにKafkaクラスターのセットアップや運用を手伝ってたんだけど、彼らがKafkaを必要とする理由がいつも最初の質問だったんだ。結局、誰からもいい答えはもらえなかった。Kafkaが役立つことは間違いないけど、適切な状況での話ね。でも、その状況は「キューが必要」っていうのじゃない。キューが必要なら、RabbitMQとかZMQ、Redis、SQS、名前付きパイプ、Kafka以外の何でも使えばいい。Kafkaができないわけじゃないけど、余計な手間をかけてるだけだよ。

分散システムを運用してるなら… それは簡単じゃないよ。特にAWSではね。AWSは本当に両刃の剣だよ。分散システムをすぐにセットアップするためのチュートリアルはたくさんあるけど、ノードの信頼性は全然ないし、ネットワークもあまり信頼できない。コストも安定しないし、管理も大変。長い目で見ると頭痛の種が増えるよ。

https://s2.dev で作ってるもの、気に入るかもね :)

Kafkaは、少なくとも名前は的を射てるよね。

Redpanda試したことある？

もしこの手のRedisキュー（https://redis.io/glossary/redis-queue/）を使ってるなら、PUSH/POPとファンアウトの違いで、Kafkaが作られた問題とは全然別の問題に取り組んでることになるよ。記事にも書いてあるけど、ファンアウトは重要な設計特性だよね。今は「Redis Streams」もあるけど、当時はなかったし、耐久性やクラスターの話もあまり良くないと思う。だから、ある程度までは使えるかもしれないけど、将来的にシステムがどうなるかによっては一般的には適してないかも。RedPandaみたいにJavaなしでKafkaを使えるものもあるけど、もしパーティショニングを気にせずに単一ノードで動かせるなら、できるだけそうした方がいいよ。複数のパーティションを追加すると、順序を考えるのが難しくなってくるし、メッセージキーみたいなもので対処できるけど、制限があってホットスポットやスケーリングのボトルネックにつながることもある。PUSH/POPベースのシステムも、少なくとも一度は保証してくれないし（Redisには「pop+push」みたいな、単一のコンシューマーが管理する別のリストに移動する機能があるけど、スケールアウトするのが難しくなりそうだよね…）。

なんか膨れすぎてる感じがした（Javaだし！） それって具体的にJavaのどこが膨れすぎてると感じたの？Javaの言語やランタイムが特に膨れすぎてるとは思わないから、Javaソフトウェア周りでよく見かけるプラクティスや原則のことを指してるのかな？

必要とされるのに「ハイパースケール」である必要はないよ。ハイパースケールの定義がかなり違うなら別だけど。数千台のサーバーからのアクセスログがあれば、どんな単一インスタンスのサービスでも限界を超えるし、Kafkaはそのワークロードにはすごく合ってる。

おそらく、超パフォーマンスが求められるハイパースケールのアプリケーション（例えば、リアルタイムトレーディングや大規模ストリーミングプラットフォーム）でこそKafkaが活躍するんだろうね。Javaの人たちは、仕事の安定のために新しいことを学びたくないから、Kafkaを使ってるけど、今はもっと速くて互換性のある代替品があるのに。Redpandaを使う方が、Kafkaを使い続けてリソースを食い潰しながら文句を言うよりいいよね。AWSに何十万も取られてるのに。

Kafkaにイベントを発行すると、それが「外に出る」形になって、失われないことが保証されるし、データウェアハウスを含む興味のある消費者が自分のペースで処理できるようになる（保持期間は通常72時間くらいだけど）。私たちにとって、Kafkaのトピックやスキーマは、gRPCのIDLと同じくらいAPIの一部なんだ。Redisや0MQのようなものは、同じサービスのインスタンス間の内部調整にはもっと適していると思うし、特定のコンシューマを意識したプロデューサーには特にね。