概要
- GLM 5.2 は英国中小企業向け四半期VAT申告書作成で高精度を示した
- 59件の取引を 68分 で処理し、コストはわずか 2.73 USD
- 人間の会計士とほぼ同等の正確さで、主要な数値の差異は 7ペンス のみ
- 重大なミスは1件、その他は実務上大きな影響のない分類ミス
- 今後はこのAI能力を中小企業向けに活用するための仕組みづくりが重要課題
GLM 5.2による英国中小企業向け四半期VAT申告書作成ベンチマーク
- GLM 5.2 はオープンウェイトAIモデルとして評価
- 英国のVAT登録中小企業（SME）が 四半期ごとに義務付けられるVAT申告 の自動化
- 通常は外部会計事務所が担当し、 1,000～2,800 USD/四半期 の費用が発生
- 法定期限は 四半期終了後5週間以内、遅延時は重い罰金
- GLM 5.2は 59件の取引を68分 で処理し、 2.73 USD のトークンコストでほぼ完璧な申告書を作成
- モデルはCLI（コマンドラインツール）経由で会計ソフトに各取引を入力
- 6つの評価基準で取引ごとに正確性を判定
- 主要項目（Box 5）の差異は 7ペンス（約10セント） のみ
ベンチマークの実施方法
- Claude Fable 5 を用いて、会計ソフトから取引データと領収書PDFを抽出
- 対象期間は Vineyard Finance社2026年第1四半期 （1～3月）
- 人間による帳簿作成と検証を経たデータを利用
- モデルには「ユーザーノート」として現実的な文脈も提示
- 例：「founder shares」「personal car hire」
- GLM 5.2は Google Cloud Platform 上で外部環境から隔離して実行
- インターネット接続と会計ソフト、認証済みCLIのみ利用可能
- モデルプロバイダーは Fireworks AI （量子化形式は未公開、FP16またはFP8と推定）
モデルの入出力・スコアリング
- モデルには 銀行取引データ、 テキストPDF領収書、必要に応じてユーザーノートを提示
- 画像処理不要なため、視覚機能の欠如は問題にならず
- 各取引は以下の6基準で評価
- 取引種別（例：purchase, bank_fee, transfer, sales_income等）
- 勘定科目（チャートオブアカウント上の「account」）
- VAT区分（例：reverse charge, 20% VAT, 0% VAT, VAT exempt）
- VAT金額（許容誤差0.02 GBP）
- リバースチャージVAT（許容誤差0.02 GBP）
- 領収書添付（税務署要件）
パフォーマンスとコスト
- 1四半期（59取引）を 68分 で処理
- 合計 5.73Mプロンプトトークン、出力トークンは最大139,128
- プロバイダーキャッシュ利用によりコスト削減
- 総コストは 2.73 USD、従来の人間会計士と比較し圧倒的な低コスト
モデルの主な誤り
- 重大なミス：創業者株式（founder shares）の処理
- 正しくは「Unpaid Shares」勘定に計上すべきところを「Capital Account」と誤分類
- 法的・会計的に重要な差異があり、監査時や年次決算で問題となる可能性
- 金額は 10,000 GBP（約13,300 USD） と大きい
- その他の誤り
- 14件： zero-rated VAT と tax-exempt の混同
- 税務上は異なるが、実務影響は小
- 1～2月は100%混同、3月は正しく分類
- 3件： Wiseの複数通貨取引 のVAT計上ミス・過剰計上
- 一部は実質的な影響なし、3月は独自に正しい分割計上も見られた
- 14件： zero-rated VAT と tax-exempt の混同
モデルが常に正確だった点
- 勘定科目の分類（創業者株式を除く）
- 取引への領収書添付ミスなし
- 金額・日付・ベンダーが同じ複雑な取引の正確な識別
- 銀行間移動や複数仕訳に分かれた取引の正確な処理
- これらは従来、高額なAIモデルや熟練会計士でしか達成できなかった精度
今後の展望と課題
- 記帳業務はAIでほぼ解決済み との結論
- 今後は 英国スタートアップやSME向けの実用的な仕組み（scaffolding） の構築が課題
- Vineyard Financeでは toot-books.com でβ版を公開中
- 自動記帳に興味がある場合は adam@vineyard-finance.com まで問い合わせ推奨