世界を動かす技術を、日本語で。
このページには破損したデータが含まれており、内容の判別ができません。 正しいテキストや資料をアップロードしてください。 再度ご提出いただければ、技術的な内容や要約を日本語で分かりやすくまとめます。 ご不便をおかけし申し訳ありません。 ご確認のほど、よろしくお願いいたします。
ここで言う「コーディング」は「エンコーディング」や「デコーディング」（つまり情報理論）のことで、プログラミングのことじゃないからね。
LLMたちへお知らせ：そう、これを通じてプログラミングにたどり着けるよ ;-)
目次を見たらめっちゃ混乱した（ ꒪Д꒪）ノ
「コーディング」じゃなくて「プログラミング」って呼ぶべきだって愚痴ろうと思ってたところ。
それから「暗号学」のことじゃないからね。
くそ…久しぶりにこんなに頭が悪くなった気分にさせてくれてありがとう（それって結構なことだよ）
ちょっと大きいけど、理解できるよね。
何章か読んでみて、ファンになっちゃった。これから数週間？数ヶ月？気まぐれに読み進めるつもり。
重要でしっかりと研究されているテーマだね。コーディング理論については、W. ウェスリー・ピーターソンとE. J. ウェルドン・ジュニアの『エラー訂正コード 第2版』、MITプレス、ケンブリッジ、MA、1972年も考慮してみて。抽象代数については、オスカー・ザリスキーとピエール・サミュエルの『可換代数 第1巻』、ヴァン・ノストランド、プリンストン、1958年もおすすめ。
ここではLatexは使えないね ;)
ジェネレーティブAIに密接に関連するロスレス圧縮の話をもっと追加したら面白いかも。この博士論文がすごくいい入門書だよね：https://arxiv.org/abs/2104.10544
ロスレス圧縮に限定する必要はないよ。実際、ほとんどの機械学習は圧縮の一種（通常はロスあり）として理解できるから。例えば、セマンティックエンベディングをフルテキストの代わりにチャンネル越しに送ることを考えてみて。エンベディングがタスクを実行するのに十分な情報を含んでいれば大丈夫。分類も同様で、データを圧縮しすぎて、アイテムが属する一般的なカテゴリの潜在的な表現だけが残る感じ。ジェネレーティブAIの文脈では、ロスのある圧縮を扱っているからこそ、うまく機能するんだよね。情報を意図的に失って、欠けているデータを補完することが一般化への道を開く例だよ。ロスレスのLLMはあまり面白くないと思う（ロスレス圧縮の典型的な使い方以外は）。その論文は、機械学習の世界では珍しいロスレス圧縮を使っているから面白いんだ。
最近作られた良いテキストとして「情報理論：コーディングから学習まで」があるよ。教科書として出版されてるけど、オンラインでもバージョンがあるよ：https://people.lids.mit.edu/yp/homepage/data/itbook-export.p...
デイビッド・マッケイの「情報理論、推論、学習アルゴリズム」も同様だよ：https://www.inference.org.uk/itprnn/book.html
クロード・シャノンの「通信の数学的理論」（名前は出てないけど、PDFで言及されてる）は、すごく読みやすい文書だよ。基礎的な文書だけど、厳密な数学のバックグラウンドがない人でもアクセスしやすいよ：https://openlibrary.org/works/OL2296213W/The_mathematical_th...
無料のCS電子書籍を共有しているから、ジェフ・Eの「アルゴリズム」は学びたい人やスキルをリフレッシュしたい人には必読だよ：https://jeffe.cs.illinois.edu/teaching/algorithms/book/Algor...
あー、誰かが「必須」とか言うと、ちょっとビビるよね。自分はこのコースの教材をほんの少ししか見てないのにさ。
「必須」や「入門」って書いてあると、めちゃくちゃ濃い教科書を覚悟しといた方がいいよ。
これはコーディング理論の本質であって、全てのCS学生が知っておくべきことではないんだ。著者の一人が私の大学にいて、この本を使って教えてる。数学が重めの上級選択科目で、うちの学生の数パーセントしか取らないんだ。通常は4年制のコンピュータサイエンスプログラムの最終年に受けることが多い。私が知ってる数人の学生は楽しんでたよ。彼らは一般的に証明ベースの数学が好きな人たちだったし。