ハクソク

世界を動かす技術を、日本語で。

ディープシーク R1-0528

362日前原文(huggingface.co)

概要

deepseek-ai/DeepSeek-R1-0528は、最新の大規模言語モデルであり、多様な量子化やファインチューニングが行われている モデルサイズは685Bパラメータと非常に大規模で、高度なテキスト生成能力を持つ BF16、F8_E4M3、F32など複数のテンソル型に対応 推論プロバイダーやコードスニペット、Open Playgroundなど多様な利用方法 直近5時間以内に更新され、活発に管理されている点が特徴

deepseek-ai/DeepSeek-R1-0528の概要

  • deepseek-ai/DeepSeek-R1-0528 は、 DeepSeek AI によって開発された 大規模言語モデル
  • パラメータ数685B の超巨大モデルによる高度な自然言語処理能力
  • BF16、F8_E4M3、F32 など複数の テンソル型 に対応
  • Safetensors 形式で提供されるモデルファイルによる安全なデータ管理
  • Inference Providers 機能による多様な推論環境への対応
  • Chat template や Text Generation Examples による容易なテキスト生成体験
  • Open Playground でのインタラクティブな利用の可能性
  • ファインチューニング済みモデル が2種、 量子化済みモデル が1種存在
  • Spaces や Collection での共有・利用事例が豊富
  • 直近5時間以内のアップデート による積極的なメンテナンス
  • ダウンロード数は直近1ヶ月で0 だが、公開直後や限定公開の可能性

モデルのファイル・利用情報

  • Model tree で関連モデルやファインチューニング履歴を確認可能
  • Files info で詳細なファイル構成やテンソル型情報を取得
  • Code Snippets で簡単なAPI利用例を参照可能
  • Spaces using deepseek-ai/DeepSeek-R1-0528 として3つの実装例
  • Collection には9件の関連プロジェクトが登録

利用方法・特徴

  • テキスト生成 や チャットボット開発 など幅広い応用分野
    • Open Playground を使った即時テスト
    • API連携 や 独自ファインチューニング も可能
  • 高精度な推論 や 大規模データセット への対応力
  • 最新の量子化技術 により計算効率と精度の両立
  • 安全性重視 のSafetensorsフォーマット採用

管理・更新状況

  • 約5時間前の更新 により、開発・改善が積極的に進行
  • 活発なコミュニティ や 共同開発 の可能性
  • 今後のダウンロード数増加 や 利用事例拡大 が期待

まとめ

  • deepseek-ai/DeepSeek-R1-0528 は、 最先端の大規模言語モデル として、 多様な利用方法と高い拡張性 を提供
  • 研究開発や実用アプリケーション への導入に適した選択肢

Hackerたちの意見

ちょっと気になったんだけど、普通の人がこれを使うには、ハードウェア的に何が必要なの？たとえ遅いペースでも。スマートな人の魔法を使わずに、魔法の数字を追加して、私たち一般人にも使えるようにすることはできるのかな？

└

おそらく、明日か明後日にはOpenRouterに載ると思うよ。685Bパラメータのモデルを家で動かすのは現実的じゃないしね。

└

デュアルソケットのサーバーボードに768GBのDDR5 RAMがあって、12チャネルのメモリと、プロンプト処理用に16GB以上のGPUが必要だね。これを8-10トークン/秒で動かすだけで数千ドルかかるよ。

└

M3 Ultra 512GBで4bit量子化バージョンを動かせるよ。ただ、かなり高いけどね。もう一つの選択肢は、500GBのDDR5 RAMを搭載した速いCPUだね。もちろん、これも安くはないし、M3 Ultraより遅いけど。それか、複数のNvidiaカードを買って、約500GBのVRAMを確保するのが一番高いけど、最も速い選択肢かも。

└

おそらくOpenRouterでは無料になると思うよ。もう685BパラメータのDeepSeek V3が無料であるしね。 https://openrouter.ai/deepseek/deepseek-chat-v3-0324:free

└

言った通り、768GB以上のメモリを持つサーバーボードでCPUモードで動かせるよ。普通の人は、300ドル、400ドル、900ドルの8GB、12GB、16GBのGPUで、量子化された30b（600b+じゃなくて）モデルを使うことになるね。

└

実際、R1の小さくて量子化されたバージョンは、普通のMacbook Proのセットアップでも動かせるよ。量子化されたバージョンは確かにパフォーマンスが落ちるけど、ちゃんと動く。ただ、正直言って、やる価値はないかな。めっちゃ遅く動かすか、ほとんど使わないハードウェアを4桁か5桁で買わなきゃいけない。

└

DeepSeek R1をローカルデバイスでオフロードと1.58bitの量子化で動かしたよ :) https://unsloth.ai/blog/deepseekr1-dynamic 新しいのも作ってるからね！

└

俺は$2000の中古デュアルソケットXeonを持ってて、768GBのDDR4が搭載されてるんだ。4ビット量子化版だと、約1.5トークン/秒で動いてるよ。

└

「氷河のようなペースでも」 もし速度が本当に問題じゃないなら、DeepSeekは十分なスワップファイルがあればほぼどんなPCでも動かせるよ。古いHDDだと、約10分ごとに1トークンの速度になるけどね。もっと現実的なのは、できるだけ多くのメモリチャネルを持った中古サーバーCPUとDDR4 RAMを$2000以下で手に入れることかな。でも大金を使う前に、サーバーをレンタルして試してみるのもいいかも。

└

ハードウェア：過去20年くらいのどんなコンピュータでもOK。ソフトウェア：好きなクライアントを使って https://openrouter.ai/deepseek/deepseek-r1-0528 ここでちょっと生意気なこと言うけど、512GBのRAMを搭載したMac Studioと同等のものに1万ドル出す気がないなら、他のサービスやこのモデルを基にした小さい蒸留モデルを使った方がいいよ。

ここからはあまり情報がないね。最新のR1リリースは楽しみだと思う。685Bのパラメータだし。モデルカードはなし。リリースノート？変更点？コンテキストウィンドウ？元のR1はすごい出力だけど、トークンをめっちゃ消費するんだよね。もっと詳しく知りたいな！

Deepseekが新しいアップデートをサラッと発表するのが好き。大きな改善があるのに、派手じゃないのがいいよね。

└

しかも、Nvidiaが決算発表する日でもあるしね。偶然だと思うけど、マジで。

└

正直な質問だけど、どうやってこれが大きな改善だとわかるの？どこかにベンチマークはあるの？

└

僕も好きだけど、少なくともベンチマークの数字があればいいな。

└

誰かベンチマーク持ってる？

└

WeChatで発表したみたいだね。

それに関する情報は見つからないね。早くベンチマークが出るといいな。Mistralがトレントのマグネットリンクをツイートしてた頃を思い出すよ。

└

似たような雰囲気だね。隣接してるから、これがDeepSeekからの意図的なサインだったとしても驚かないよ。

└

普通、DeepSeekはモデルリリースの1日後に論文を投稿することが多いと思うけど、なんでちょっと待って調整しないんだろうね。ニュースサイクルがちょっとごちゃごちゃしてる。

└

ベンチマークは今や無駄な努力に思えるね。特定のテストに合わせてモデルを過剰に調整するより、一般化できるようにすることに集中した方がいいのに。Hugging Faceにはリーダーボードがあって、いろんなオープンソースモデルのファインチューニング版が支配してるけど、あんまり広く使われてる感じはしないね。 https://huggingface.co/open-llm-leaderboard

└

ここに「全体」と「中央値」のスコアを示す表があるけど、具体的に何がテストされたのかは全然わからないね。最新モデルと同じくらいの性能みたいだけど、コスト面では有利な点がある一方、元のr1と同じくらい遅いっていうのが難点かな（多分、考えるトークンがたくさん必要なんだろうね）。

Deepseekが昨晩、Nvidiaのプットオプションを買ったらしいよ。

これには少なくともH100 80個は必要だね…。

└

それだと、1時間あたり約$16-24だね。その期間にスリングするトークンの数によっては、OpenAIに似た機能を支払うよりもずっと安くなるかもしれないよ。

早くGroqで見たいな！

└

Groqには本当のdeepseekモデルがないみたいだね。deepseek-r1-distill-llama-70bしか持ってないと思ってたけど、これはllama 70bに蒸留されたやつだよね。

今すぐHyperbolicでテストできるよ。app.hyperbolic.xyz/compute?utm_source=hackernews 無料アカウントにサインアップすると$1もらえるし、EDUアカウントがあれば$15もらえるよ。さらに、他の人を紹介すると$5もらえるしね。

あっという間に、7つのプロバイダーから利用可能になったね。https://openrouter.ai/deepseek/deepseek-r1-0528/ 5月28日のアップデートで、元のDeepSeek R1の性能はOpenAIのo1と同等だけど、オープンソースで完全にオープンな推論トークンを持ってるよ。サイズは671Bパラメータで、推論時には37Bがアクティブになるんだ。完全にオープンソースのモデルだよ。