Apple Intelligence Foundation Language Models 技術報告 2025

2025年7月18日原文(machinelearning.apple.com)

概要

AppleはApple Intelligence向けに、デバイス上とサーバー上で動作する2種類の多言語・マルチモーダル基盤言語モデルを発表。 3BパラメータのオンデバイスモデルはApple silicon向けに最適化。サーバーモデルはPT-MoEトランスフォーマーを採用し、高品質と効率を両立。両モデルとも大規模な多言語・マルチモーダルデータで学習し、責任あるAI運用を重視。 Swift中心の新フレームワークで、開発者は少ないコードで機能統合が可能。

Apple Intelligenceを支える基盤言語モデルの概要

Apple Intelligence のために設計された2種類の 多言語・マルチモーダル基盤言語モデル
(1) 約30億パラメータ のオンデバイスモデル
- Apple silicon 向けに最適化
- KV-cache共有 や 2ビット量子化対応学習 などのアーキテクチャ的工夫
(2) サーバーモデル
- Parallel-Track Mixture-of-Experts (PT-MoE) トランスフォーマー を採用
- トラック並列処理、 疎なMixture-of-Experts計算、 グローバル・ローカル注意の交互適用
- Apple Private Cloud Compute プラットフォームでの高品質・低コスト実現

学習データとファインチューニング

責任あるWebクローリング、 ライセンス済みコーパス、 高品質な合成データ からなる 大規模多言語・マルチモーダルデータセット で学習
教師ありファインチューニング と 強化学習 を新しい 非同期プラットフォーム で実施
追加言語対応 や 画像理解、 ツール呼び出し実行 もサポート

性能評価と開発者向け機能

公開ベンチマーク や 人手評価 で、同規模のオープンベースラインを上回る性能
Swift中心のFoundation Modelsフレームワーク を新たに提供
- ガイド付き生成、 制約付きツール呼び出し、 LoRAアダプターファインチューニング に対応
- 少ないコード行数 での機能統合を実現

プライバシー・責任あるAI運用

コンテンツフィルタリング や ロケール別評価 など、責任あるAI運用のための 多層的セーフガード
Private Cloud Compute による ユーザープライバシー保護
Appleの Responsible AI アプローチに基づく運用方針

Apple Intelligenceのユーザー体験と今後

iOS 18、 iPadOS 18、 macOS Sequoia に深く統合
テキスト作成・修正、 通知の要約・優先付け、 会話用画像生成、 アプリ内アクションの自動化 など、日常的なタスクに最適化
ユーザーの現在の活動 に合わせて柔軟に適応する設計
2024年WWDC での発表と今後のアップデートへの期待

Hackerたちの意見

アップルの論文を見るたびに、「なんで俺のiPhoneはまだこれをやってないの？」って思っちゃう。シリが使えるようになってないのに、開発者にこれを渡す意味あるの？動かないのかな？開発者が何か作り始めたらわかるのかな。

└

なんで俺のiPhoneはまだこれをやってないの？多分、アップルはモデルをローカルで動かせるように調整してるんじゃないかな。ほとんど、いや、全てのシリはデバイス上で動いてるからね。音声処理のために往復することは全くないよ。それに、大きなモデルの場合、リクエストごとに使い捨てのVMが必要になるから、そのインフラを作るのに時間がかかるんだ。

└

なんで俺のiPhoneはまだこれをやってないの？具体的に何を指してるの？モデルはiPhone上で動いてるし、今もそれを活用した機能があるよ。

└

Appleシリコンのユニファイドメモリは、ollamaみたいなものを動かすのにすごくいいよ。彼らのアプリが出るのを待つ必要もないしね。

我々は、多様で高品質なデータを使ってモデルを訓練することを信じています。これには、出版社からライセンスを取得したデータや、公開されているデータセットからキュレーションしたデータ、そしてウェブクローラーであるApplebotがクロールした公開情報が含まれます。 > 我々は、基盤モデルの訓練においてユーザーのプライベートな個人データやユーザーのインタラクションを使用しません。また、特定の個人識別情報を除外するためのフィルターを適用し、不適切な表現や危険な素材を除外するための措置を講じています。 > さらに、我々は倫理的なウェブクロールのベストプラクティスに従い、ウェブパブリッシャーがAppleの生成基盤モデルの訓練に自分のコンテンツを使用されないように選択できるよう、広く採用されているrobots.txtプロトコルに従っています。ウェブパブリッシャーは、Applebotがどのページを見られるか、そしてそれがどのように使用されるかを細かく制御でき、なおかつSiriやSpotlightの検索結果に表示されることができます。リスペクト。

└

アップルが避けられないようにOpenAIやAnthropicと提携することになったら、彼らの定義では「倫理的なクロール」をしていないわけだけど、これをどう受け止めればいいんだろう。

└

Appleのアプローチの問題の一つは、活動の詳細を公開するずっと前からウェブをスクレイピングしてトレーニングデータを集めてたことだね。そして、robots.txtを使って除外する方法を教えたのも遅かった。

└

「私たちのウェブクロール戦略を使って、対応するaltテキスト付きの画像ペアを集めました。」反AIの人たちにとっての問題は、彼らが「すべての画像にaltテキストを書くように主張している」人たちでもあるってこと。だけど、今のところこれがaltテキストの主な使い道だから、実質的に無償で注釈作業をしてるってことだね。

└

Appleの本当のユーザープライバシーに対する姿勢を隠すために、フィグリーフを磨かなきゃね。arstechnica.com/tech-policy/2023/12/apple-admits-to-secretly-giving-governments-push-notification-data/ > Appleは、米国連邦政府が「情報の共有を禁止した」とアーズに提供した声明で確認した。

└

言葉やPRじゃなくて、行動を尊重しよう。

└

尊重はするけど、他の会社と比べるとひどいことになるだろうね。自分をここまで縛ることはできないよ。

└

ビッグテックのPR声明を信じちゃダメだよ。彼らはAIに関しては数十年遅れてる。私は長いことAI研究を追ってきたけど、過去15年でMicrosoft、Google、Facebookが発表した最高の論文は見つかるけど、Appleのは全然ない。理由は分からないけど、彼らはAIに全く興味がなかったんだと思う。これは彼らのAIの現状を正当化するためのPRだと言えるね。

Hacker Newsで議論の続きを見る

ハクソク