TimeCapsuleLLM: 1800年から1875年までのデータのみで訓練されたLLM

2026年1月13日原文(github.com)

概要

TimeCapsule LLM は、特定の時代・地域のデータのみで訓練された言語モデル 現代のバイアスを排除 し、当時の語彙や世界観を忠実に再現 複数バージョン が存在し、段階的に精度や表現力が向上 Selective Temporal Training という独自手法を採用 主な用途は歴史的言語再現 や時代考証

TimeCapsule LLMとは

TimeCapsule LLM ：特定の時代（例：1800～1875年ロンドン）のデータのみで訓練された言語モデル
現代的な知識やバイアス を排除し、当時の語彙・文体・世界観を再現
歴史的再現性 を重視し、単なる「歴史風」ではなく「本当にその時代のAI」を目指す
nanoGPT（Andrej Karpathy作）やPhi 1.5（Microsoft） などの基盤技術を活用
Hugging Face で一部モデルやデータセットが公開

バージョンごとの特徴

v0
- 約187MBのデータで訓練
- 1800年代風の語彙・文体 を再現
- 文法や内容はほぼ一貫性なし、現代的な概念は出現しない
v0.5
- データ量約435MBに増加
- ヴィクトリア朝風の文章・句読点、より正確な文法
- 事実誤認（ハルシネーション） やOCRノイズが多い
v1
- 約6.25GBのデータで訓練
- 実在の歴史的出来事と人物の関連付け が可能に
- より自然で時代に即した出力
v2mini-eval1 / v2mini-eval2
- 15GBサンプル（v2の90GBデータセットから抽出）で訓練
- トークナイザーの問題 により意味不明な出力が発生することも
- より大規模なデータセットによる精度向上を目指す

データセットと収集方法

主なデータソース ：1800～1875年ロンドンの書籍・法律文書・新聞など
データセットサイズ
- v0：約187MB
- v0.5：約435MB
- v1：約6.25GB
- v2mini-eval1：15GB
- v2（予定）：90GB（未トークナイズ）
データクリーニング
- Project Gutenbergなどのヘッダー・フッターや現代的注釈、OCRエラーの除去
- スクリプトまたは手作業での整理

モデル構築手順

Step 1：歴史テキスト収集
- 公的ドメインの.txtファイルを収集し、時代・地域を限定
Step 2：カスタムトークナイザー構築
- train_tokenizer.pyやtrain_tokenizer_hf.pyで語彙・マージルール（vocab.json/merges.txt）生成
Step 3：モデル訓練
- nanoGPTや選択したアーキテクチャの手順に従い訓練

Selective Temporal Training（STT）とは

特定の時代・地域に限定したデータのみで訓練 する手法
現代的情報やバイアスを完全排除 し、その時代特有の知識・言語を再現
例：1800～1875年ロンドンの文献のみで訓練したv0.5
ファインチューニングやLoRAでは不可能な「純粋な時代性」 の実現

モデルサイズ・訓練環境

v0 ：16Mパラメータ、Geforce rtx 4060/i5-13400F/16GB DDR5
v0.5 ：123Mパラメータ、同上
v1 ：700Mパラメータ、A100 SXM（レンタル）
v2mini-eval1 ：300Mパラメータ、A100 SXM（レンタル）

よくある質問（FAQ）

なぜファインチューニングやLoRAを使わないのか？
- 既存モデルは既に現代的知識を含むため、「完全な時代再現」は困難
- スクラッチからの訓練 でのみ「時代そのもののAI」実現が可能
どんなデータを使ったか？
- 書籍、法律文書、新聞、その他1800～1875年ロンドンの文書
- 初回訓練では50ファイル（約187MB）を使用
目標
- 1800～1875年ロンドンの知識・言語のみで推論できるAI の構築

参考リンク

データセットサンプル https://huggingface.co/datasets/haykgrigorian/TimeCapsuleLLM-London-1800-1875-v2-15GB
使用文書リスト https://github.com/haykgrigo3/TimeCapsuleLLM/blob/main/Copy%20of%20London%20Documents%20for%20Time%20Capsule%20LLM.txt

今後の展望

90GB規模のデータセット での本格訓練による精度向上
時代・地域ごとのカスタムAI 構築や、歴史研究・時代考証への応用
バイアスレポート や出力例の充実による透明性向上

Hackerたちの意見

1900年までのデータで最先端のモデルを訓練して、量子力学や相対性理論についてちょっとした文脈を加えて質問するのは面白そうだね。もしそのモデルが何かしら正しいことを言えたら、LLMがもっと大きなものへの道だっていう強い証拠になるかも。逆に、何も出てこなかったら、また一から考え直す時期かもね。

└

それ、私も気になってた。トレーニングセットにどれくらいのSTEM素材が含まれてるのか、気になるなぁ。

└

最先端のモデルに使われるトレーニングデータの大部分は、1900年以降に作られたんじゃないかな。

└

トレーニングデータを見てると、あまり何も知らないんじゃないかな。[0] 「物理科学の接続についての疑念」（1834年）には、量子力学についてあまり書かれてないと思う。カットオフが1900年だけど、テキストの多くは1900年より1800年に近い感じだね。[0] https://github.com/haykgrigo3/TimeCapsuleLLM/blob/main/Copy%...

└

数週間前にやったよ: https://github.com/DGoettlich/history-llms （ここで話題にされてる: https://news.ycombinator.com/item?id=46319826）モデル部分はね。君と同じことを考えた人は他にもいるけど、試した人はいないと思うよ。

└

そこには、すでに量子力学や相対性理論に近いものがあったはずだよ。マイケルソン・モーレーの実験は1887年で、ローレンツ変換は1889年に登場した。光電効果（アインシュタインが1905年に光子の観点から説明したやつ）も1887年に発見された。ウィリアム・クリフォード（1889年に亡くなった）は、一般相対性理論を予見するような考えを持っていた。「リーマン、そしてより具体的にはクリフォードは、力と物質が空間の曲率における局所的な不規則性かもしれないと推測した。彼らはその点で驚くべき予言者だったが、そのために当時は夢想家として片付けられた。」- バネシュ・ホフマン（1973年）物事は突然起こるわけじゃないし、その時代の科学論文をすべて見ることができれば、そういったものが合成から外れてしまった可能性もあるね。

└

ヤン・ルカンが最近このアイデアについて明言していて、彼はそのシナリオではLLMが何も有用なことを加えられないと断言してる。私の理解では、他のAI研究者たちも彼に概ね同意してるみたいで、実際に「魔法」のようなものが重みの中にあると思ってるのは、オルトマンみたいなハイプ好きな連中だけだよね。彼らの利益がかかってるから、理解できるけど。私の意見としては、ルカンが正しいと思う。

└

化学は探求するには素晴らしい分野だね。19世紀の最後の四半期には化学の進展がたくさんあったから、LLMが有益な仮説を提案したり、熱力学の科学について予測を立てたりできるか見てみたい。

└

テキストの未来を予測するための厳密なアプローチがLiらによって提案されたんだ。2024年の「Evaluating Large Language Models for Generalization and Robustness via Data Compression」（https://ar5iv.labs.arxiv.org/html//2402.00861）ってやつで、もっと評価されるべきだと思う。彼らは未来のウィキペディア、ニュース記事、コード、arXivの論文、マルチモーダルデータに対して圧縮（パープレキシティ）を測定してる。データ圧縮はロバスト性と一般化に密接に関連してるんだよね。

これを使ってプロンプトを流す簡単な方法、誰か見つけた？ホスティングされたAPIやチャットUI、Ollamaやllama.cpp、LM Studioで動く便利なGGMLやMLXビルドとか。

└

直接的な答えではないけど、v0.5はnanoGPTアーキテクチャで、v1はPhi 1.5アーキテクチャみたい。どのエンジンでも量子化ユーティリティにしっかり対応してるはずだよ。それに、サイズも小さいから、ポテトでも動かせると思う。

Hacker Newsで議論の続きを見る

ハクソク