ハクソク

世界を動かす技術を、日本語で。

HuaweiがHuawei Ascend GPUでトレーニングされたオープンウェイトモデルを発表

327日前原文(arxiv.org)

概要

  • Mixture of Grouped Experts (MoGE) は、従来のMoEの課題である専門家の負荷不均衡を解消する新アーキテクチャ。
  • Pangu Pro MoE は、MoGEを採用し、Ascend NPU上で高効率な分散推論を実現。
  • トークンごとに均等に専門家を活性化し、 デバイス間の計算負荷を最適化。
  • 既存の32B/72B密モデルよりも 高い推論性能とコストパフォーマンス を達成。
  • GLM-Z1-32BやQwen3-32B などの有力オープンソースモデルを上回る性能を実証。

Mixture of Grouped Experts (MoGE)の概要

  • MoGE は、専門家（Expert）をグループ化し、トークンごとに各グループから均等に専門家を選択する設計。
  • 従来の MoE では、一部の専門家に負荷が集中しやすい問題を抱える。
  • グループごとの均等活性化により、 計算負荷のバランス を自動的に調整。
  • 複数デバイスでの並列実行時、 デバイス間の負荷分散 を実現。
  • 特に推論フェーズでの スループット向上 と効率的なリソース活用が可能。

Pangu Pro MoEの特徴と性能

  • Pangu Pro MoE は、MoGEアーキテクチャを採用した 72Bパラメータ のスパースモデル。
  • 各トークンで 16Bパラメータ のみ活性化し、計算コストを大幅削減。
  • Ascend 300I Duo/800I A2 向けにシステムシミュレーションを通じて最適化。
  • 推論性能 は1カードあたり1148 tokens/s、推測的アクセラレーションで1528 tokens/sを達成。
  • 同規模の Denseモデル（32B/72B） よりも高効率。

Ascend NPUにおけるMoGEの分散学習と推論

  • Ascend NPU による大規模並列実行で、モデル学習と推論の効率化。
  • MoGEにより、 専門家ごとの負荷均等化 が実現し、デバイス利用率の最大化。
  • コストパフォーマンス に優れ、実運用に適した推論環境を提供。
  • Pangu Pro MoE は、サブ100Bパラメータクラスで最高レベルの性能を持つモデル。
  • GLM-Z1-32BやQwen3-32B といった著名なオープンソースモデルを上回る結果を報告。

今後の展望と応用可能性

  • MoGE の導入により、今後さらに大規模なLLMの効率的な運用が期待。
  • 分散環境 での負荷分散技術として、他のAIモデルやプラットフォームへの応用可能性。
  • Pangu Pro MoE の成果は、産業応用や研究開発における大規模言語モデルの新たな標準となる可能性。

Hackerたちの意見

重みはgitcodeで入手可能だよ。[1]: https://gitcode.com/ascend-tribe/pangu-pro-moe-model

└

一応警告だけど、ライセンス[1]はEUでの使用を明確に禁止してるよ。 > 「ライセンス付与の条件。あなたは、EU内でモデルにアクセス、ダウンロード、インストール、実行、展開、統合、変更、またはその他の方法で使用しないことを表明し、保証します。」[1] https://gitcode.com/ascend-tribe/pangu-pro-moe-model/blob/ma...

└

オープンソースが使われるときに、オープンウェイトの方が正しいって言って怒る人もいるよね（ここではオープンウェイトが特に適用されてるから嬉しいけど）。で、オープンウェイトって本当に面白いの？何を提供してくれるの？モデルのバイアス（あるいはその逆）を覗くことができるの？競合モデルを訓練することができるの？オープンソースは別の何かで好ましいものになるのか、それとも「ウェイトが新しいソース」っていうのが今のLLMの世界なのかな？自分を教育しようとしてるんだ。

世界は、Huaweiと中国がTSMCやNvidiaと競争できるようにノードサイズを縮小する必要がある。

└

地政学的な懸念を無視すれば、それは素晴らしいことだね。でも、AI技術は二面性があって、消費者市場での競争は軍拡競争に反映されるだろうし、今の中国の製造能力や安い労働力を考えると、中国が勝つ可能性が高い。とにかく、まずASMLを複製する必要があるけど、これは近い将来には実現しそうにないね。

└

アメリカがチップの輸出管理を撤廃したら、中国政府は逆に輸入管理を強化するんじゃないかな。NvidiaやTSMC、Apple、Googleに対抗する本物の競争相手を作る方が、彼らにとっては利益が大きいと思う。

Sic transit gloria nvidii

└

言語的な深い知識： "invidia"はラテン語で「嫉妬」を意味する。

└

ちょっと細かいこと言ってごめんね。Gen Sgはnvidiaeになると思うんだけど、iはoの変化形だから。

└

5年間のラテン語の勉強がやっと役に立った！

└

今日読んだ中で一番良いこと書いてあった。ブラボー！

└

Sic transit gloria nvidiae

Huawei Ascend 920はSMICによって6nmプロセスで生産されてるんだ。アメリカの制裁には懐疑的だったけど、こんなに早く逆効果になるとは驚きだね。中国の視点から見ると、早めに西側のAI能力を排除するのは意味があるかもしれない。

└

たとえ彼らのチップがそこまで良くなくても、能力の低いハードウェアで長時間大きなモデルをトレーニングすることを妨げるものは何？メモリの制限を克服する方法はあるのかな？

└

制裁は一般的に一時的な対策に過ぎない。長期間にわたって意味のあるギャップを生むことはできないよ。私は過去にいくつかの厳しいおよび緩やかな禁輸を経験した国に住んでいて、何が起こったか見てみよう。 - ドローンを買いたかったけど、拒否された。今では私たちは世界で最大のドローン製造国の一つだ。 - 防空システムを拒否された。今ではミサイルやロケットの全アーセナルを開発中だよ、スタンドオフ/巡航ミサイルも含めて。 - 飛行機を拒否された。私たちの4.5世代戦闘機プログラムは大きなスピードアップを果たした。 - 高度な海軍技術を拒否された。ステルス艦や高速の沿岸警備艇、そしてそれに必要な全ての航行システムを作った。 - ドローンや航空機用の光学ポッドを拒否された。6ヶ月で自分たちのものを作った。などなど… 制裁や禁輸は、国が技術を驚異的な速度で進歩させる最大の要因だよ。

└

制裁を追加するのがアメリカのデフォルトの動きになってるみたいで、制裁対象が多すぎてパラレルな世界経済ができちゃってるね。

└

Nvidiaに行くはずだった数百億ドルがHuaweiに流れてるから、彼らが進展を遂げているのは驚きじゃないね。Huaweiに対するほとんどの制裁は、彼らがアメリカの企業にとって脅威だったからだから、これも驚きじゃない。

└

2023年、HuaweiはMate 60でKirin 9000Sを発表して驚かせたけど、GPUの防御策や制裁の効果について話すときにこれが忘れられがちだね。

└

制裁の逆効果を主張するために、製造されている制裁対象品の量を指摘するだけじゃダメだよ。制裁がある場合とない場合の違いを見て、コストも考慮しないと。HuaweiはどうせGPUの開発を進めるつもりだったし、SMICもチップを作るつもりだった。制裁後の投資増加によるGPU計算の総量はどれくらいで、もともと計画されていたのはどれくらい？同じ金額でNvidiaのGPUを輸入する場合と比べてどうなの？HuaweiがNvidiaよりもコストパフォーマンスが良くない限り、これは高い回避策を実施しているだけで、制裁の目的はコストを上げることだからね。

└

SMICはEUVなしでは本当に問題に直面してる。6/7nmで何かを生産できるからって、それが効率的で競争力があるとは限らない。今は戦略的な理由からそうしてるだけだよ。

└

https://fr.wikipedia.org/wiki/Quand_la_Chine_s%27%C3%A9veill... この本の英語の報道が見つからないのが面白いよね :')

└

中国は制裁があってもなくても、SMICに投資してたと思う。半導体は彼らにとって重要な技術だからね。

└

中国は実際に台湾のTSMCから人材を「盗んでる」から、そりゃ進歩も早いよね。同じ人たちだからね。

これめっちゃワクワクする！安いGPUを持つ小さなプレイヤーでも大手と競争できるアーキテクチャを作ってるみたい。最終的にはオープンAIをクラウドソーシングするのが技術的に可能になるってことだね。中国も高い基準で競争できるように研究してるし。アメリカの制裁には懐疑的だったけど、これが論理的な結論に至るなら、本当に大きな勝利だと思う。

└

「このアイデアは、最終的にはオープンAIをクラウドソーシングすることが技術的に実現可能であることを示唆している」 もう技術的には実現可能だよ: https://www.primeintellect.ai/blog/intellect-2

└

Deepseek-R1はもうGPT 4.1レベルだよ。オープンウェイトでオープンソースだし、推論コードもオープンソースにしてる。

└

https://i.imgur.com/we5ggtS.jpeg

└

そうだね、制裁は実際にいくつかの面で世界を良くすると思うよ。計算の多様性が増えたり、製造の分散化が進んだり、いろいろあるね。

EUでのライセンス禁止以降、こういうことを考えてるんだけど：「制限Aは私たちの利益を守るためのもので、あなたに対して直接的にも間接的にも強制しません」っていうライセンスを作ることは可能かな？こういう表現は「隔離条項」と呼ばれるかもしれないけど、裁判官が法律の回避と見なすかは分からない。何度も編集したけど、私は法律の専門家じゃないけど、これはメタがラマの重みをリリースするのに似てると思う。ヨーロッパの法律の精神はAIの具体的な利用を制御することであって、重みやアーキテクチャの広範な配布を目的としてないと思う。だから、私の質問は：EUのAI法はこの配布を禁止してるの？これがヨーロッパにとって競争と選択肢を増やすと思う。もう少し考えると、オープンウェイトをインストールすることでバックドアができる可能性があるから、国家安全保障の観点からは注意が必要かも（でも、個人的にはそれが嫌い）。もう一つの質問：オープンウェイトがバックドアを作るかどうかを制御する方法はある？記号のようなプロンプトでシステムを特定の状態にすることで、隠すべき情報を読み取れるようになる攻撃があるのを思い出す。もう一つの質問：ファインチューニングやLoraはこういうプロンプト攻撃を軽減する方法なの？こういう攻撃に対抗するためのPythonライブラリはある？ダウンロードしてインストールしてファインチューンやLoraで修正すれば、今は守られてるってこと？

└

HuaweiがEU市民に何をすべきかを指示する権利はないよ。実際、彼らはこの制限をライセンスに追加する必要なんてなかった。EU市民として、私たちは法律を知って、自分たちを守るためにこういうモデルを使わないようにするべきだよ。

└

セキュリティのために、生成されたコードはレビューするまで信頼できないものとして扱うべきだね。

└

EUでの使用とインストールがライセンス禁止になってから、こういうライセンスを作ることは可能かな？「制限Aは私たちの利益を守るためのもので、あなたに対して直接的にも間接的にも施行しない」っていうような文言。ライセンスの中でこういう表現は「隔離条項」として分類されるかもしれないけど、裁判官がそれを法律の回避と見なすかは分からない。あなたが言ってることとは少し違うかもしれないけど、すぐにオープンメディア連盟を思い出す。彼らのコーデックライセンスはロイヤリティフリーだけど、同じ条件でこれらのフォーマットを使うために誰かを訴えたら使用権が取り消される。

制裁はせいぜい一時的な対策に過ぎないよ。理想的には、国内の能力を強化するための時間を稼ぐものだけど、研究資金を削減して外国の学生や研究者をアメリカに呼ばないようにするのは、ちょうど中国が調子に乗るタイミングでアメリカの能力が減少することを意味してる。

誰か教えてくれると嬉しいんだけど、これの重要性がすぐにはわからない。制裁で大きな打撃を受けたHuaweiのスマホが、国産GPUのおかげで戦える可能性が出てきたってこと？このGPUは西側の最先端GPUと比べてどれくらい良いの？それとも悪いの？Huaweiが商業的にGPUを量産する能力があるってことなの？

└

この動画はHuaweiについての全体的な概要をうまくまとめてると思うよ。

└

Huaweiはハードウェア的には競争力のあるスマホを作れるけど、Googleのアプリストアがないと買う理由が難しいよね。

現在のLLMがスケーリングの壁にぶつかって、効率が重要になったら、特定のユースケースに焦点を当てた小型モデルの市場ができるかもしれないね。私はGeminiを使って画像から構造化データを抽出してるけど、フラッシュモデルがこれにすごく適してる。NUCのAMD APUで動くような小型モデルを作るのにどれくらいの労力がかかるのか気になるな。もしくは、特定のユースケース向けのモデルを動かすミニ外部GPUスティックが出てくるかも。市場はあまり大きくないかもしれないけど、面白いかもね。

└

名前付きエンティティ抽出に使うモデルを探してたら、ここに良いファインチューニングを見つけたよ: https://huggingface.co/dslim/bert-base-NER?utm_source=chatgp... パラメータは108百万しかない。

└

あの頃、みんながUSBポートでASIC使ってビットコインを掘ってたのを思い出すな（全然効果的じゃなかったけど）。

└

もうそうなってるよ、それはモデル蒸留って呼ばれてる。LLMを使ってラベルを生成して、さらに専用の小さいモデル（だいたいニューラルネット）を使って、推論コストを1000倍安くするんだ。

HNの人たちは本当に妄想がひどくて面白い。半導体産業は中国にとって常に重要な産業だよ。彼らは「中国製造2025」でそれを明言してる。Huaweiは制裁が始まる前に自社のチップを設計・開発してたし、中国政府は半導体産業にお金を注ぎ続けてる。短期的にはお金がNvidiaに流れるかもしれないけど、中国がBYDみたいな「Nvidia」を作るのは時間の問題だよ。悲しいのは、アメリカがトランプを選んで、アメリカの研究を削減してCHIPS法案を切り捨ててること。ある国は長期的な視点で進んでるのに、もう一つの国は目先のことしか見てない。