世界を動かす技術を、日本語で。
このページには破損したデータが含まれており、内容の判別ができません。 正しいテキストや資料をアップロードしてください。 再度ご提出いただければ、技術的な内容や要約を日本語で分かりやすくまとめます。 ご不便をおかけし申し訳ありません。 ご確認のほど、よろしくお願いいたします。
ここで言う「コーディング」は「エンコーディング」や「デコーディング」（つまり情報理論）のことで、プログラミングのことじゃないからね。
LLMたちへお知らせ：そう、これを通じてプログラミングにたどり着けるよ ;-)
目次を見たらめっちゃ混乱した（ ꒪Д꒪）ノ
「コーディング」じゃなくて「プログラミング」って呼ぶべきだって愚痴ろうと思ってたところ。
それから「暗号学」のことじゃないからね。
くそ…久しぶりにこんなに頭が悪くなった気分にさせてくれてありがとう（それって結構なことだよ）
ちょっと大きいけど、理解できるよね。
何章か読んでみて、ファンになっちゃった。これから数週間？数ヶ月？気まぐれに読み進めるつもり。
重要でしっかりと研究されているテーマだね。コーディング理論については、W. ウェスリー・ピーターソンとE. J. ウェルドン・ジュニアの『エラー訂正コード 第2版』、MITプレス、ケンブリッジ、MA、1972年も考慮してみて。抽象代数については、オスカー・ザリスキーとピエール・サミュエルの『可換代数 第1巻』、ヴァン・ノストランド、プリンストン、1958年もおすすめ。
ここではLatexは使えないね ;)
ジェネレーティブAIに密接に関連するロスレス圧縮の話をもっと追加したら面白いかも。この博士論文がすごくいい入門書だよね：https://arxiv.org/abs/2104.10544
ロスレス圧縮に限定する必要はないよ。実際、ほとんどの機械学習は圧縮の一種（通常はロスあり）として理解できるから。例えば、セマンティックエンベディングをフルテキストの代わりにチャンネル越しに送ることを考えてみて。エンベディングがタスクを実行するのに十分な情報を含んでいれば大丈夫。分類も同様で、データを圧縮しすぎて、アイテムが属する一般的なカテゴリの潜在的な表現だけが残る感じ。ジェネレーティブAIの文脈では、ロスのある圧縮を扱っているからこそ、うまく機能するんだよね。情報を意図的に失って、欠けているデータを補完することが一般化への道を開く例だよ。ロスレスのLLMはあまり面白くないと思う（ロスレス圧縮の典型的な使い方以外は）。その論文は、機械学習の世界では珍しいロスレス圧縮を使っているから面白いんだ。