世界を動かす技術を、日本語で。

ミストラルAIが「フォージ」をリリース

概要

  • Forge は企業独自の知識を活用した最先端AIモデル構築システム
  • 内部データに基づくトレーニングで 業務特化型AI を実現
  • 制御性・戦略的自律性 を重視した設計
  • 多様なアーキテクチャと 継続的改善 をサポート
  • さまざまな業界・用途での導入実績

Forge:企業知識を活かすAIモデル構築基盤

  • Forge は企業が自社の 独自知識 を活用してAIモデルを構築できるシステム
  • 既存のAIモデルは 公開データ 中心だが、Forgeは企業内部の知識資産に特化
  • エンジニアリング標準・コンプライアンス・コードベース・業務プロセス などを学習対象
  • Mistral AIは ASML、DSO National Laboratories Singapore、Ericsson、European Space Agency、HTX Singapore、Reply などと連携実績

組織知識の学習とモデル内在化

  • Forgeは 大量の内部ドキュメント、コードベース、構造化データ、業務記録 を学習可能
  • 専門用語・推論パターン・制約条件など 組織独自の環境 をモデルに内在化
  • Pre-training で業界特化モデルを構築、 Post-training で業務ごとに最適化
  • 強化学習 により、内部ポリシーや評価基準、オペレーション目標に沿ったモデル調整
  • これにより、 汎用AI から一歩進んだ 組織知能 を持つAIモデルの実現

制御性と戦略的自律性の確保

  • AI導入時の モデル・データ・知的財産管理 の懸念に対応
  • Forgeは プロプライエタリデータ による学習と、 内部ポリシー・評価基準 に基づく運用が可能
  • 規制環境 でも運用可能な高い制御性を提供
  • 自社インフラでの運用により、 戦略的自律性 を確保

カスタムモデルによるエージェントの信頼性向上

  • エンタープライズエージェントは 単なる回答生成 を超えた業務遂行能力が求められる
  • カスタムモデルで 内部用語・業務手順・システム連携 を深く理解
  • ツール選択やマルチステップワークフロー の精度向上
  • 内部ポリシーやビジネスロジックに即した意思決定が可能
  • エージェントが 実務コンポーネント として機能し、業務支援の質と速度を向上

多様なモデルアーキテクチャ対応

  • DenseモデルMixture-of-Experts (MoE) の両方に対応
    • Denseモデル:広範な業務に強い汎用性
    • MoE:大規模モデルを 低レイテンシ・低コスト で運用可能
  • マルチモーダル入力 もサポート(テキスト・画像など)

エージェントファースト設計

  • コードエージェント が開発ツールの主要ユーザーになる時代を見据えた設計
  • Mistral Vibeのような 自律エージェント がモデルのファインチューニングやデータ生成を自動化
  • Forgeは インフラ管理・データパイプライン・トレーニング手法 を包括
  • 英語記述だけでモデルカスタマイズが可能

継続的改善と評価フレームワーク

  • 組織環境や規制の変化 に合わせた継続的なモデル改善
  • 強化学習パイプラインで 内部評価・業務フィードバック を活用し、モデルをアップデート
  • 評価フレームワーク で内部ベンチマークやコンプライアンスチェックを実施
  • 静的なデプロイ ではなく 継続的な進化 を実現

企業向けForge活用例

  • 政府機関 :多言語・政策文書・規制テキストに対応したAIエージェント
    • 政策分析・行政手続き・業務計画を支援
  • 金融機関 :コンプライアンス・リスク管理・規制文書に特化したモデル
    • 内部ガバナンスポリシーに準拠したアウトプット生成
  • ソフトウェア開発チーム :プロプライエタリコード・開発標準に基づくモデル
    • 実装・デバッグ・レビュー・設計支援などに高い精度
  • 製造業 :設計仕様・運用データ・保守記録を学習したモデル
    • 診断・設計解析・運用意思決定をサポート
  • 大企業全般 :内部知識体系に基づくエージェント活用
    • 社内ドキュメントや業務記録を活用した情報検索・業務遂行

Forgeによるフロンティアモデル構築のすすめ

  • AIモデルは 企業インフラの基盤 へと進化
  • Forgeで 自社知識に基づくモデル を構築・継続改善
  • 用語・プロセス・制約 を反映したAIシステム・エージェントの実現
  • AIモデルを 外部ツールではなく戦略資産 として運用
  • 興味のある組織は Forgeの詳細情報への申し込み を推奨

Hackerたちの意見

Mistral、面白いものをいくつか出してるね。フロンティアモデルにはちょっと遅れをとってるけど、別のアプローチをしてるみたい。仕事で、モデルのトレーニングが小さな会社にはどれだけ大変か話してたんだけど、うちも多分やらないだろうな。でも、こういうツールや新しいunslothリリースがあれば、トレーニングがもっと身近に感じるね。

へぇ、最初はただのファインチューニングのエンドポイントだと思ってたけど、どうやら顧客と一緒にプレトレーニングの方でも提携してるみたい。でも、RLもやるの?マジで、RL環境は正しく作るのがめっちゃ難しいよね。頑張ってほしいな。

Mistralの違ったアプローチを応援してるよ:最大の高度なモデルで競争するんじゃなくて、顧客のためにカスタムエンジニアリングをして、EUの顧客のニーズに応えてる感じがいいね。

Go Mistral!

彼らのOCRモデルは最高だね。

最初は.ai、次は.euになるみたいだけど、ai.euはどうなるんだろうね。

APIのドキュメントによると、ファインチューニングのエンドポイントは廃止されるみたい。これが代わりになるの? https://docs.mistral.ai/api/endpoint/deprecated/fine-tuning

面白いね。彼らがファインチューニングを推進してると思ってたんだけど。

これはAIでお金を稼ぐ賢い方法だね。MongoDBもこの市場に入ってきてるのを見たよ。 https://www.voyageai.com/ でビジネス向けのRAGアプリケーションを狙って、会社特有のモデルのコンサルティングを提供してるみたい。

プレトレーニングについても言及してるのが驚きだね。あれってめっちゃ高いんじゃなかったっけ?小さなモデルには実現可能だけど、小さなモデルって事実情報には信頼性がないと思ってたんだけど?

これらのモデルの典型的なトレーニング段階はこんな感じだよ: 基礎: - プリトレーニング - ミッド/ポストトレーニング(SFT) - RLHFまたはアライメントポストトレーニング(RL) そして時々... - いくつかの顧客特有のファインチューニングもある。 プリトレーニング段階の後の監視付きファインチューニングは、データセットを入れ替えて、オプティマイザーの設定をちょっと調整するだけだよね。 彼らが言ってるのは、ポストRLファインチューニングじゃなくて、このプリRLファインチューニングのことだと思う。プリトレーニング段階を完全に入れ替えるわけじゃないはず。

どれくらいの独自のユースケースがプレトレーニングやファインチューニングを本当に必要としてるんだろう?RAGアプローチの方がいい場合もあるし、プレトレーニングやファインチューニングをするのはどのタイミングが理にかなうのか、気になるな。

RAGは死んだ

ragは基本的にllmに答えを探すためのいろんなドキュメントを与えるんだ。でも、それだけじゃアルゴリズムが良くなるわけじゃない。事前学習とファインチューニングがllmのタスクに対する推論能力を向上させるんだよ。

これってファインチューニングとどう違うの?

AIの未来は専門化だよ。すべてと誰かを犠牲にして、善良な知識をできるだけ早く得ることじゃない。 このアプローチは評価できるし、拍手を送りたい。私も似たような製品を探してるところ。いいね。

プリトレーニングは、組織が大規模な内部データセットから学ぶことで、ドメインに特化したモデルを構築できるようにします。 > ポストトレーニング手法は、特定のタスクや環境に対してモデルの振る舞いを洗練させることを可能にします。 これってどういう仕組みだと思う?「プリトレーニング」って言ってるけど、適切なデータセット形式でのクリーンなデータがそんなに十分じゃないと思うんだ。「ファウンデーションモデル」を作るには足りないよね。彼らが言ってる「プリトレーニング」は実際にはSFTで、「ポストトレーニング」は...もっとSFTなのかな?「ゼロから始める」って意味じゃないはず。もしかしたら、彼らのSOAモデルを使って会社のデータから大量の合成データを生成するようなことをしてるのかも -- それは基本的に低解像度の蒸留と同じだと思うけど。うーん。

いつものように、いくつかの例から始めて、LLMにそれを元にもっと例を合成させて、それを使ってトレーニングするって感じかな。ひどい響きだけど、実際には結構うまくいくんだよね。

彼らが言ってるのは「継続的な事前学習」のことだと思う。