肉汁爆弾

いろいろメモっていきます

ISUCON 2026ふりかえり(by Codex / Claude)

[written by codex]
今年もISUCONに参加しました。

ISUCONの開催は2年ぶり。今年も例年通り、チーム「カレーおじさん」としてlazydg、tatsumackと私の3人で参加してきました。毎回誘ってもらえてありがたい限りです。

そして私はなぜか前日まで開催日を忘れており、妻にいきなりワンオペ育児をお願いすることとなりました。丸一日ISUCONに集中させてくれた妻にも本当に感謝です。次からはちゃんとカレンダーを確認します。。

ブログを書くまでがISUCONということで、今回何をやっていたか、というよりは、AI全盛の時代に開催されたISUCONがどういうものだったのかを記しておこうと思います。

今回のISUCONで一番印象に残ったのは、個別の技術やスコアではありませんでした。

AIによって実装作業がほぼ代替された状態で、それでもISUCONの面白さは残っていたこと。そして、AIの使い方によって、チーム間にこれほど大きな差がつくことでした。

歴史的な転換点と言ってもよさそうなタイミングのISUCONに参加できたな、という感動があります。

今回の進め方

今回はCodexとClaudeにかなりの部分を任せました。

コードを読ませて改善案を出させる、実装させる、テストさせる、PRを作らせる、ベンチマークのログを集めてレポートを書かせる、前回の結果と比較させる、といったことをほぼ一通りやってもらっています。

人間がコードを書いて、AIに補完してもらう、という感覚ではありませんでした。

人間が「次に何を調べるか」「この結果をどう評価するか」「どの変更を採用するか」を判断し、実装や分析の大部分はAIに任せる、という進め方でした。

今回、実装が原因でベンチマークが失敗することは一度もありませんでした。

ISUCONでは、実装したものが仕様を満たしていなかったり、エラーが出たり、スコアが上がると思ったらベンチマーカーが失敗したり、ということがよくあります。

それが今回はほぼなく、AIが実装してテストまで行った変更をデプロイし、ベンチマークを動かす、というサイクルをかなり安定して回せました。

実装力という意味では、すでに十分すぎるほど強いなという印象です。

AIに分析の仕組みを持たせる

単に「このリポジトリを高速化して」と依頼しても、良い結果になるとは限りません。

そこで、ベンチマークを実行するたびに、アクセスログ、slow query、pprof、vmstat、pidstatなどを収集し、同じ形式でレポートを作るようにしました。

収集するファイルや保存先、前回のベンチマークとの比較方法、スコアを上げるという観点で何を見るか、といった内容はAI向けの手順としてまとめました。

ベンチマークのjob IDごとにログとレポートがGitHubへ残るので、AIに「最新のレポートと前回を比較して」と依頼すると、かなり具体的な回答が返ってきます。

たとえば、

  • どのエンドポイントが遅いか
  • どのクエリがDB時間を使っているか
  • CPUを使っている処理は何か
  • タイムアウトによって、どの行動が何件失われたか
  • 次に変更するとしたら、どこが期待値の高い施策か

といったところまで分析させていました。

人間がログを眺めて怪しいところを探すのではなく、AIがログを整理して仮説を並べ、人間が次の方針を決めるような形です。

ここまでくると、AIはコードを書く道具というより、チームメンバーとして扱ったほうが自然でした。

うまくいかなかった改善を戻す

今回の流れを象徴していたのが、画像まわりの改善でした。

ひとつは、画像の権限確認で重いクエリが大量に実行されていたため、画像の所有者を別テーブルで管理する変更です。

これは素直に効果があり、対象クエリの平均時間は2.97msから0.80ms、合計時間は41.1秒から11.4秒まで減りました。およそ7割の削減です。

もうひとつは、投稿時に必要となる画像署名の計算を、別リージョンのサーバーへ移す変更でした。

asiaのサーバーで行っていたSHA-256の計算をeuropeとamericaへ分散させれば、asiaのCPUが空いてスコアが上がるだろう、という考えです。

実際、asiaの署名計算に使うCPU時間は減りました。

しかし、遠隔計算の結果を待つ時間が投稿のレスポンスに乗ってしまい、POST /api/postsの平均時間は0.162秒から0.444秒、P95は0.482秒から1.236秒まで悪化しました。

スコアも138,429から131,600へ落ちました。

CPU使用率だけを見れば改善しているのに、スコアは悪くなるというやつです。ぐぬぬ。

レポートをAIと確認し、画像所有者テーブルの改善は残しつつ、投稿時の遠隔署名だけを削除しました。Memoriesやエクスポートなど、レスポンスへの影響が異なるバッチ処理については遠隔計算を残しています。

その状態で再度ベンチマークを実行したところ、スコアは140,479まで上がりました。

投稿APIの平均時間は0.193秒、P95は0.697秒まで戻り、成功した投稿数も1,227件から1,471件へ増えました。画像権限確認のクエリも平均0.65ms、合計9秒と、改善された状態を維持できています。

ひとつのPRを全部採用するか全部戻すかではなく、ログを見ながら効果のあった部分だけを残せたのはよかったところです。

その後も優先制御の枠を調整したり、セッション認証をキャッシュしたり、空いている処理枠を共有できるようにしたりと改善を続け、手元のベンチマークでは最終的に165,035までスコアを伸ばすことができました。

実装はボトルネックではなくなった

今回、少なくとも私たちのチームでは、実装速度や実装の正確さはほとんどボトルネックになりませんでした。

「このクエリを改善したい」「この処理を別サーバーへ移したい」「優先制御の枠を変更して比較したい」と方針を決めれば、AIはかなりの速度で実装してくれます。

テストも書きますし、race testも実行します。既存の変更を維持したまま、問題のある部分だけを外す、といった作業も任せられます。

AIが書いたコードだから不安定、という感じも今回はありませんでした。少なくとも、ベンチマークが失敗するような変更は一度もありませんでした。

一方で、スコアが自動的に上がるわけではありません。

CPU使用率を下げても、ネットワーク越しの待ち時間が増えればスコアは下がります。単体のクエリが速くなっても、得点に直結する処理が待たされれば意味がありません。変更による差よりも、ベンチマークのぶれのほうが大きいこともあります。

どこを計測し、何をボトルネックと判断し、どの変更を先に試すか。

ひとつのベンチ結果から次の一手をどう決めるか。

実装がAIによって代替されても、ISUCONのこの面白さはそのまま残っていました。

むしろ実装コストが大きく下がったことで、仮説を立てて検証するゲームとしての側面が、より強くなったようにも思います。

AI Agentだけで戦ったチーム

そして今回、1位のチームはAI Agentのみで実装していたとのことでした。

完全なるHuman Out of the Loopです。

人間が参加している私たちのチームが、AI Agentだけのチームに届かなかったという結果は、かなり悔しいものがありました。

AIを使ったかどうかではありません。

私たちもCodexとClaudeをかなり使いましたし、実装の大部分はAIが行っています。それでも、AIをどう動かしたかによって大きな差がつきました。

私たちは人間がレポートを読み、次に試す変更を決め、AIへ依頼していました。

一方で、上位のチームは「どこをどう改善するか」という戦略の部分までAI Agentへ任せられていたように見えます。

実装をAIに任せられること自体は、すでに特別な強みではないのかもしれません。

計測、分析、仮説、実装、検証というサイクル全体をAIに回させられるか。AIが次の行動を決めるために、どのような情報や道具を用意できるか。

そこが差になっていたように思います。

AIの性能差というより、AIを含めたチームやシステムの設計差です。

これほど露骨に成果へ出るのか、という驚きがありました。

よかったところ

CodexとClaudeに実装だけでなく、計測と分析まで任せられたことです。

ログを同じ形式で残し、変更前後の数字を比較する流れを作れたことで、改善が効いたのか、何を戻すべきなのかをかなり具体的に判断できました。

実装とテストが速いため、思いついた仮説を試せる回数も増えました。

また、AIがコードを書けるようになっても、ISUCONがつまらなくならなかったこともよかったところです。

実装作業が減ったぶん、スコアの仕組みを考え、ボトルネックを見つけ、限られたベンチ回数で何を試すかという部分に集中できました。

これはこれで、かなり楽しい。

わるかったところ

AIに実装を任せるところまではできましたが、改善サイクル全体を自律的に回させるところまでは届きませんでした。

レポートを作らせても、最終的にどの施策を選ぶかは人間が判断しています。人間が気づかなかった方向は、そのまま試されません。

また、AIへ渡す手順や作業範囲の管理にも改善の余地がありました。

計測手順を更新しても、古い作業環境に古い手順が残っていれば、AIはそれに従ってしまいます。保存場所や命名規則のような単純なことでも、指示の正本が複数あると間違えます。

AIが勝手に賢く作業してくれるというより、AIが迷わず判断できる環境を人間がどこまで用意できるかが重要でした。

今回はAIを使って高速に実装するところに満足してしまい、AI自身が「次に何をすべきか」を判断するための仕組みづくりが不足していたように思います。

1位との差は、まさにそこだったのかもしれません。

おわりに

AI全盛の時代に開催されるISUCONという、歴史的な転換期のコンテストに参加できたことに感動しています。

AIによって実装はほぼ代替されました。

それでもISUCONには、どこを計測し、何をボトルネックと判断し、どういう順番で改善するかという面白さが残っていました。

そして、その戦略の部分についてもAIに任せたチームが上位へ行きました。

人間がAIを使ってコードを書く段階から、AI Agentが自分で状況を分析し、次の施策を選び、検証を繰り返す段階へ移りつつあるのだと思います。

人間が参加しているのに、AI Agentだけのチームに負けたのは悔しいような気もするが、人間が入ってるから負けたのだろうなという気もする。

しかし、来年はどういう戦い方になるのか。人間は何を準備し、どこに介入するのか。そもそも人間が介入したほうが強いのか。

そんなことを考えられるのも、今このタイミングならではなのでしょう。

次はAIに実装させるだけではなく、AIが自分で勝ち方を考えられるチームを作って挑みたいですね。

がんばるぞ。

P.S.
シチューおばさんはどう考えてもカレーおじさんを意識していますね