ハクソク

世界を動かす技術を、日本語で。

Show HN: Microgptはブラウザで可視化できるGPTです

99日前原文(microgpt.boratto.ca)

概要

Karpathy の MicroGPT に強く影響を受けた教育用ツールの紹介。 デフォルトで 4000パラメータ の小型GPT/LLM/NNを実装。 名前生成 を学習し、可視化機能付き。 ネットワーク内の 活性化状態 を視覚的に追跡可能。 各要素をクリックして 解説表示 が可能。

MicroGPT系教育ツールの特徴

  • Karpathy の MicroGPT から着想を得た設計
  • デフォルトで 約4000パラメータ の小規模ニューラルネットワーク
  • GPT/LLM/NN として動作し、名前生成タスクに特化
  • 教育目的 で設計され、初心者にも理解しやすい構造
  • ネットワーク内部の 活性化状態 をリアルタイムで可視化
  • 各層やノードを クリック することで、詳細な 説明 を表示
  • ニューラルネットワークの 仕組み理解 や 直感的な学習 に最適
  • インタラクティブ なUIで、学習過程の追体験が可能
  • 名前生成モデル の学習プロセスや挙動の観察が可能

活用シーンとメリット

  • 深層学習 や LLM の基礎学習教材
  • ニューラルネットワークの可視化 体験
  • 教育現場 や 自主学習 での利用
  • AIモデルの内部動作 の理解促進
  • ハンズオン 形式で直感的に学べる環境提供

まとめ

  • MicroGPT のコンセプトを活かしつつ、 教育用 に最適化されたツール
  • 小規模・可視化・インタラクティブ の三拍子が特徴
  • AIやニューラルネットワーク の学習を始めたい人におすすめ

Hackerたちの意見

ちょっとした指摘だけど、キャラクターがトークンベースじゃないってことを言い忘れてる気がする。これも触れておく価値があるかもね。「Microgptの大きいバージョンは、1つ以上の文字を表すトークンというビルディングブロックを使ってるんだ。これは理解するのが難しいけど、文や会話を作るためには重要なんだ。」だから、名前のスペルは英語のアルファベットを使うことにするよ。それで26個のトークンができるんだ、各文字ごとにね。

└

うーん、私の見解では、キャラクターが自然なビルディングブロックで、トークン化はその改善版って感じかな。最後のQ&Aドロップダウンで、ChatGPTとかがトークンを使ってるって言ったけどね。

└

ASCIIキャラクターを使うのは、圧縮が少ないシンプルなトークン化の一形態だね。

以前、GPT-2のアクティベーションや残差ストリームを白黒画像で可視化したページがあったんだけど、層を進むにつれてランダムに見えたアクティベーションから徐々に秩序が形成されるのが面白かったのを覚えてる。今はそのページが見つからないけど（リンクが腐ったのかな？）、誰か知ってる人いる？

LLMがどう動いてるのか理解したいんだけど、このサイトは私にはちょっと知識を前提にしすぎてて、あまり得られるものがなかったな。でも、見た目はクールだね。

└

LLMの仕組みを学ぶのに見つけた中で、これが一番良いコンテンツだよ：https://youtu.be/7xTGNNLPyMI?si=Gk0u4suz8pv39tP4

└

特にこのブログ記事が役に立ちそうだね。https://sebastianraschka.com/blog/2023/self-attention-from-s...

いいね！プロンプト→ツール→出力のグラフを可視化するのは過小評価されてると思う。失敗パターン（とコスト）が明らかになるからね。ノードごとのトークン/コールコストやキャッシュヒットを追跡してるの？それとも今は純粋に構造的なものだけ？同じプロンプトで異なるモデル/ツールの2回の実行をユーザーが比較できるようにして、どのノードが最初に分岐したかを見れるようにしてるのも気になる。

素晴らしい仕事だね！LLMの可視化を思い出した（https://bbycroft.net/llm）けど、こっちはずっと理解しやすくて、実際にトレーニングループを回せるのがいいね。元のMicrogptのシンプルさを考えると納得できるよ。損失値が何を意味するのかを示すために、小さな説明セクションを質問形式で追加して、Karpathyのブログからこの説明を加えるといいかもね：> 1,000ステップを超えると、損失は約3.3（27トークンの中からのランダムな推測：−log(1/27)≈3.3）から約2.37まで減少する。モデルは27個の可能なトークンの中から次のトークンを予測するように訓練されていて、今はランダム推測のベースラインよりも良くなってるってことを再確認してるんだ。

「見て、もっと良くなってるよ」って言われても、出てくるのがisovrakやkuceyみたいなものでちょっと混乱した。何を生成する予定だったの？

└

ただの幻覚みたいなトレーニングデータだね。モデルがすごく小さいから、全然役に立たないよ。

└

未学習のモデルはほんとにランダムな文字を生成してるだけだけど、君の例は少なくとも発音できるものだよ。もっとレイヤーを追加すれば、徐々に良い結果が得られるよ。

リンク先のインスピレーションには、Pythonで実装されたmicrogptについてのいいブログ記事があるよ。https://karpathy.github.io/2026/02/12/microgpt/ 数日前にhnに投稿されたけど、コメントはほんの数件だけだった。https://news.ycombinator.com/item?id=47000263

私のAndroidフォンはこのサイトがあまり好きじゃなかったけど、デスクトップではすごく快適に動く！いい感じ。

すごくよくできてるね。

LLMにはもっと安い方法があるはずだと思ってしまう。