概要
- AdderBoard Challenge は、10桁同士の加算を99%以上の精度で実行できる最小のTransformer構築コンテスト
- 手動設計（Hand-coded） と 学習済み（Trained） の2カテゴリで性能を競う
- 自己回帰型Transformer であることが必須条件
- 各手法の工夫や結果は リーダーボード で公開
- パラメータ数の削減 と 正確な加算表現 が主な研究課題
AdderBoard Challengeとは
- 10桁の整数同士を加算し、 99%以上の精度 で正しい和を出力する最小のTransformerモデルを競うチャレンジ
- Dimitris Papailiopoulos （@dimitrispapail）による運営
- 当初はClaude Code（6,080パラメータ）とCodex（1,644パラメータ）がスタート地点
- コミュニティの貢献で パラメータ数が劇的に削減 されている現状
部門と評価基準
- Trained（学習済み）部門
- SGDやAdam、進化的探索など、汎用的な学習アルゴリズムで重みを学習
- データフォーマットやトークナイゼーション、カリキュラム学習、アーキテクチャ探索の工夫が評価対象
- Hand-coded（手動設計）部門
- 重みを理論的に解析的に設定（SGD等の発見性は不問）
- アーキテクチャが加算を表現できることの構成的証明
主なルール
- 自己回帰型Transformer であること
- 少なくとも1層の 自己注意（Self-attention） レイヤーを含む
- 入力はトークン列、出力は次トークンの予測（逐次的な自動生成）
- キャリー伝播もこの自己回帰過程から自然に発生する必要
- forward()は標準的なテンソル入出力計算
- 問題特化の制御フローや明示的なキャリー変数、文字列操作は禁止
- 推論ループは他のタスクにも使える汎用的なもの
- 入力フォーマットの工夫は可
- 桁の逆順や区切り文字など、固定された形式なら許容
- 99%以上の精度 を10,000組の乱数ペアで確認
パラメータカウントの基準
- 重みの重複・タイイング後の一意なパラメータ数 で計測
- 固定/サイン波的な位置エンコーディングはカウント対象外
- 学習済みの位置エンコーディングはカウント対象
リーダーボード（抜粋）
Hand-Coded（手動設計）
- 1位：36パラメータ／100%精度／alexlitz
- 2層デコーダ、d=5、ALiBi（slope=log(10)）、ゲート付きReLU FFNなど
- 2位：40パラメータ／100%精度／Wonderfall
- 1層デコーダ、d=2、周期的RoPE、2ヒンジReLU MLPなど
Trained（学習済み）
- 1位：311パラメータ／99.999%精度／rezabyt
- 1層デコーダ、d=4、Rank-3ファクトライゼーション、RMSNorm、グロッキング
- 2位：335パラメータ／99.92%精度／h3nock
- カリキュラム学習、タイドエンベッド等の工夫
技術的工夫・発見
- Rank-3ファクトライゼーション による大幅な圧縮
- ALiBi の傾きlog(10)設定で基数10の重み付けを実現
- 自己注意 による桁揃え、 MLP での1桁加算、 自己回帰生成 でキャリー伝播
- パラメータ数約800 で急激な精度変化（パラメータクリフ現象）
- 手動設計モデルは学習済みモデルよりはるかに小型化可能 （例：36 vs 311パラメータ）
提出方法
- Issueの作成 または Pull Request でエントリー
- コードへのリンク、テスト結果（精度）、検証スクリプトの実行結果を添付
- 検証はverify.pyで10,000組＋エッジケース10組を評価
研究的意義
- Transformerが整数加算をどこまで小さく表現できるか の探求
- 桁揃え・逐次加算・キャリー伝播という3つの能力を最小構成で実現する挑戦
- 低パラメータ・高精度モデル設計の知見 の蓄積
- 汎用的な自己回帰モデル設計の理解深化
参考リンク
- 公式リポジトリ（GitHub）および各エントリーのgist/repo
- MITライセンス