トークナイザーは、全体のモデルのトレーニングとパフォーマンスにおいて重要な部分だよね。リクエストごとの全体コストの一部に過ぎない。もしトークナイザーがより多くのトークンを生成するけど、その結果モデルが正しい答えに早く到達して、正しい答えを出さなかったから再プロンプトが少なくて済むなら、全体のコストはまだ低くなる可能性がある。比較はまだ続いてるけど、Opus 4.7は追加のトークナイザーのオーバーヘッドがあっても、平均して少ないトークンで答えにたどり着くかもしれないっていうのを見たことがある。だから、金儲けってわけじゃないよ。

どうしてそれが金儲けになるの？ 新しいトークナイザーが同じ情報をエンコードするのにもっとトークンを必要とするなら、推論にかかるコストが増えるから、彼らにとってはお金がかかるんだよ。トークンごとに料金を取るのは、コストがトークンの数に比例するからなんだ。私の理解ではね。

私の使い方では、これがより良いモデルだね。ベンチマークもあるよ。

もし彼らが望むなら、$/トークンを倍にすることもできるよね。今の需要に追いつけてないみたいだし、そういう状況の時に企業が通常することだよ。お金を稼ぎたいなら、銀行ショットのアプローチは必要ないよ。

彼らの古いトークナイザーは、先頭にスペースがある場合とない場合で同じトークンIDを使えるようにするスペースの圧縮を行っていたよ（文脈によってはスペースがあることが暗示されている場合に、スペースなしの記号が使われる）。

これは言語モデルが誕生して以来のやり方で、2018年頃から徐々に改善されてきたんだ。埋め込みモデルを見てみて。 > 彼らはトークナイザーを完全に取り除いた これは現在進行中の研究テーマで、まだ本当の解決策は見えていないね。

LLMは、似た情報をエンコードする異なるトークンを扱うように明示的に設計されていて、もしかしたら「学習」もするかもしれないね。この3blue1brownの動画、すごく参考になったよ！: https://www.youtube.com/watch?v=wjZofJX0v4M それに、LLMが異なる言語をどう扱うかも考えてみて。

これはすごく表面的で英語中心の見方だけど、まあ本当かもしれないね。非英語の言語では、特にChatGPTが、格変化の部分で苦しんでいるように思う。文脈に合わない形で単語を出力してることが多いし。実験をやってみたんだけど、ある単語を取って、モデル（ChatGPT、Gemini、Claude）にそれを分解させてみたんだ。条件としては、ルート + 接尾辞 + 終わりか、ルート + 終わりのどちらかにするっていうもの。どのモデルもこの二重性に気づかず、一つの解釈しか取らなかった。トークン化に対するアプローチは、文脈フリー（っぽい）文法を前提にしているけど、自然言語ではそうじゃないんだよね。「私は彼女のアヒルを見た」という例（他の有名な例も）も、広い文脈なしではユニークにトークン化できないから、トークナイザー自体がモデルであるか、モデルが意味空間を圧縮する必要があるんだ。

現在、形態素トークナイザーがモデルのパフォーマンスを助けるという証拠はほとんどないね[1]。ドイツ語のように（単語がくっつく）言語では、もう少し証拠があるけど（例えば、私が関わった論文[2]）、全体的にはトークン化に関しても苦い教訓が真実だと思い始めてる。[1] https://arxiv.org/pdf/2507.06378 [2] https://pieter.ai/bpe-knockout/

これはほぼ確実に間違ってるね。ケースセンシティブな言語モデルは、ニューラル言語モデルが登場するずっと前からあったんだ。少なくとも10年前にはブーストツリーモデルで使ってたし、私のJavaのNLPツールも20年前にこれをやってた（やばい！）。もちろん、そこに新しさはないよ。PGの「スパムのための計画」に基づいてるから。例えばCountVectorizerを見てみて: https://scikit-learn.org/stable/modules/generated/sklearn.fe... 苦い教訓は、もっとデータを追加してトークナイザーを学習させた方がずっと良いってことだよ。新しいOpusトークナイザーがMythosの事前学習中に学んだ何かに基づいている可能性もあるし（もしかしたらそれが*学習されたMythosトークナイザー？）、Mythosの事前学習は今までで最も多くのデータで訓練されたようだね。トークナイザーに帰納的バイアスを入れるのは、ただの悪いアイデアだと思う。