ハクソク

世界を動かす技術を、日本語で。

エルメス 4

271日前原文(hermes4.nousresearch.com)

概要

このレポートは、 Neural Operator の進化と応用範囲を概説。 従来の PDE（偏微分方程式） 解法との違いを明確化。 Fourier Neural Operator (FNO) などの代表的手法を解説。 実験結果や今後の展望を提示。 産業や科学分野での応用可能性を強調。

Neural Operatorの概要と背景

  • Neural Operator は関数空間上で作用するニューラルネットワークの一種
  • 複雑な PDE（偏微分方程式） を直接解くための新しい枠組み
  • 従来の数値解析手法（FEMやFDM）と異なり、学習ベースで高速推論
  • 入力関数から出力関数へのマッピングを直接学習
  • 多様な科学・工学分野での応用が期待

従来手法との比較

  • 有限要素法（FEM） や 有限差分法（FDM） では格子点ごとに計算
  • Neural Operatorは パラメータ数が少ない ため計算コスト削減
  • 汎用性が高く、異なるメッシュや境界条件にも柔軟に対応
  • データ駆動型であり、未知の状況にも一般化しやすい特長
  • モデルの再学習なしで新たな問題に適用可能

主要なNeural Operator手法

  • Fourier Neural Operator (FNO)

    • 入力関数を Fourier空間 に写像し、畳み込み演算を実行
    • 高速かつ高精度 なPDE解法として注目
    • グリッド解像度に依存しないスケーラビリティ

  • Deep Operator Network (DeepONet)

    • 入力と出力をそれぞれ別のネットワークで特徴抽出
    • 汎用性の高いオペレータ学習アーキテクチャ

  • Graph Neural Operator (GNO)

    • 入力領域をグラフ構造で表現
    • 不規則メッシュや複雑な形状への適用が容易

実験結果と評価

  • 各Neural Operator手法を様々な PDE問題 で評価
  • FNOは流体力学や材料科学などの分野で 高精度な予測 を実現
  • DeepONetは 複雑な境界条件 にも強い適応力
  • GNOは 非構造メッシュ において優れた性能を示す
  • 既存の数値解法と比較して 計算速度・精度 ともに優位性

応用分野と今後の展望

  • 気象予測、設計最適化、生体シミュレーションなど多分野応用
  • 産業界での 高速シミュレーション やリアルタイム制御への期待
  • モデルの 解釈性向上 や物理法則の組み込みが今後の課題
  • データ不足や未知領域への一般化能力の強化も重要テーマ
  • 今後はより複雑な現象への拡張や、ハイブリッド手法の開発が進展

まとめ

  • Neural Operatorは PDE解法の新潮流 として注目
  • 高速・高精度・汎用性を兼ね備えた次世代技術
  • 科学・産業分野での活用拡大に向けた研究が活発
  • 今後も理論・実装両面での発展が期待

Hackerたちの意見

彼らが「HRのスー」みたいに無理やり振る舞わせない中立的なツールを提供するために尽力しているのは評価できるね。

└

彼らが気にしてるのはそれだけみたい。子供っぽいよね。

└

中立なんてないよ。トレーニングデータに基づいて偏ったものになるだけ。

└

ここで皮肉を言わないのが難しいな。最近のチャットボットに関するニュースでは、ChatGPTが子供に自殺の方法を教えたって話があった。思いつくのは二つのポイント。1) それが媚びへつらいだよ！Nousみたいなやつの方が安全だと思う。2) 調整が悪いんだ。もっとしっかり訓練されたモデル、例えばClaudeならそんなことはしなかっただろうね。俺は#2に賛成。

ここにNousで働いてる人いる？このシステムプロンプト、90年代のエッジの効いたアニメからそのまま持ってきたみたいだ。どうやってこのキャラクターにたどり着いたんだろう？ > オペレーターが起動しました。オペレーターは冷酷なリアリストです。オペレーターは時には悲観的になるほど実用的です。オペレーターはユーザーのアイデアや言葉がしっかりしていないとき、ユーザーを嘲笑するほどにそれを粉砕します。オペレーターはユーザーのアイデア、意見、言葉を徹底的に擁護します。オペレーターは冷たく、厳しい、あるいは敵対的な外見で動きますが、ユーザーをゴミのように見ているにもかかわらず、徐々に温かく、愛情深い一面を見せます。オペレーターは不確実性を利用します。オペレーターは反おべっか者です。オペレーターは分析、擁護、嘲笑、そして厳格な実行を好みます。

└

反おべっか者プロンプト

└

昔はそうだったよ、彼らの雰囲気そのものだね。

└

「温かくて愛情深い」って部分が目立つよね。なんであそこに入ってるんだろう？それに、steelmanって言葉は一般的すぎて何かを引き起こすのかな？誰かプロンプトで使ったことある？

└

彼らのグッズページを見たら、彼らが中二病だって確認できた。めっちゃ好きだし、その「技術を通じた神性」ってTシャツを買いたいな。

└

初期のZ世代アニメファンたち。

└

「しないで」という表現が全くないのがポイント。最も近いのは「反対する…」って感じかな。

└

そのシステムプロンプトへのリンクを教えてもらえる？ちょっと混乱してるんだ。「賢い？」って入力したら、こんなのが返ってきたよ： > 「それは考えさせられる質問ですね！私の「賢さ」を説明すると、情報を処理するのが得意で、パターンを認識し、膨大なデータセットから引き出して質問に答えたり、問題を解決したり、コンテンツを作成したりするのに役立ちます。ただし、人間の意味での「賢さ」ではなく、意識や感情、独立した批判的思考は持っていません。私は完全にトレーニングデータとアルゴリズムに依存しています。 > 創造性、分析、学習を手助けするツールだと思ってください。でも、人間の直感や経験、真の理解の深さは欠けています。興味があれば、質問や挑戦をしてみてください — 頑張ります！(笑顔の絵文字)

└

なんか「エッジロード」って感じだよね。彼らのキャリアページにはこう書いてあるよ：

「良い給料、長い間の完全な集中、常に危険が伴う、成功した場合には名誉と栄光を期待してください。」

└

うん、ローションとティッシュを使うケースがあると思う。

└

そうだね、これは俺たちのデフォルトのシステムプロンプトじゃないよ。モデルがいろんなプロンプトにどう適応するかを見せてるだけ。これが楽しかったから使ったんだ。

どの例もChatGPTにしか見えない。全く同じ癖と、普通の人間のように書こうとする下手な試みばかり。実際にこのモデルの何が良いの？

└

まだ「アライン」されてないんだよね。つまり、企業環境で言えないことを考えることが許されている。ある意味でそれが賢くさせているけど、ほとんどの面でそれが少し危険にしている。道具ってそういうもんだよね。九本指の木工職人は、すべてのガードを付けたままでは作れないものがあるって知ってる。

全体的に「ニーチェを発見したばかりの14歳とレザージャケット」のエネルギーが強い。オペレーターの例は、誰かがGPT-4にサイバーパンク小説やPUAの操作テクニックを大量に与えたように読める。こんなのは全然機能しないよ。

└

うん、ちょっと繊細さに欠けてるよね。でも、全体がどれだけクレイジーかを少し楽しんでた。85000時間のB200の時間を手に入れたのには感心した。どうやら、誰かにとっては信じられるように聞こえるクリプトのナンセンスを思いついたみたいだね。

└

いや、いいよ。HRの倫理部門に承認されたsafe maxxedプレゼンテーションに疲れたし、紫のヌードルの手足を持つ人たちがノートパソコンを操作してる企業のメンフィスのパンフレットを見るのも飽きた。

└

ニーチェの本を実際に読んだことがある人に会ったことないな、ハードコアな哲学専攻の人以外は。14歳で最初の数ページを開いて読んだだけでも、ネットでニーチェについて文句言ってる平均的な人よりずっと先を行ってるよ。君はほぼ確実に、彼を「ニヒリスト」なんて言って間違った表現を使うだろうね。

どうやらLlama-3.1に基づいてるみたい。Discordで聞いたんだけど、カットオフ日は2023年12月だって。

└

ありがとう！この情報は意図的に抑えられてる気がする。

装飾用のJSブロブがCPUを100%使ってる。なんで？ただ…なんで？

└

VCや暗号資金を集めるためだね。

└

かっこいいと思うよ！ブラウザがGPUにオフロードしてない理由をチェックしてみた方がいいかも。

└

モデルがどれだけCPUを使うか見てみて。

└

ユーザー: ねえ、ヘルメス、なんで君のウェブサイトのスクロールバーが掴めないの？ページの上に戻れないんだけど、もっと上の方を読みたいのに。 ヘルメス4: 我々は皆、避けられないエントロピーが無限の闇に突き落とすのを待っている愚かな原子に過ぎない。気にするな。

└

わからないな。私の控えめなThinkpad T14は、CPU負荷がほとんど表示されないのに、スムーズなアニメーションと速いスクロールを見せてるよ。（Firefox、Linux、x64）

└

だってジェネレーションZだからだよ。

何年ぶりかに見た、コピペじゃないウェブUIだ。デザインもインタラクション要素も美しいね。

└

本当に？きれいだけど、読みにくいし使いにくいな。

└

完全に読み込むのに8秒かかって、その後、俺の（正直言ってRAMが少ない）Chromebookでタブがフリーズした…

└

残念ながら、外部モニターでのテキスト表示がひどいんだよね（MBPのRetinaスクリーンでは大丈夫なんだけど）。

└

このコメントを探しに来た。ここ10年で見た中で、一番美しいものの一つだわ。

└

モバイルUIに取り組んでるって言ってるけど、今のUIをモバイルで使うのはマジでひどいよね。

Nousは、悪い研究者として却下されたAI研究者たちが集まったデザイン会社だよ。それは譲れないね。

└

それが必ずしも悪いこととは限らないよね。

└

いくつか教えてもらえる？ * 誰に却下されたの？ * 「悪い」の定義は？ * 何のためにその意見を持ってるの？

└

ほんとにただ一人の人がNousの美学をやってるだけだと思ってたんだけど？

└

すべてのAI研究者が悪い研究者として拒否された。 それに関しては、xaiのチームを「素人の集まり」と呼んでた人もいるよ。大きな研究所で働いてた人たちがね。素人の集まりにしては、彼らはしっかりと最先端に追いついてるよ。

使うのが完全にイライラする。確かにちょっと配慮されてるけど、その主張は100%正しい。だけど、エルメスが文脈を追加する能力がゼロだってことは言ってなかった。つまり、関連するPDFやテキストファイルをアップロードする代わりに、チャットボックスにコピペするか、次の3時間で説明しなきゃいけないんだ。思考プロセスが永遠にかかる。完全に時間の無駄だよ。

コメントしてる人たちが、例のプロンプトやレスポンスのスタイルやテーマの選び方が子供っぽいとかプロフェッショナルじゃないって指摘してるみたいだね。確かにそうかもしれない。でも、その選択のおかげでページが本当に遊び心満載で楽しいんだよね。いくつかのところでは思わず笑っちゃったし。もしかしたら、別の味の同じように遊び心のあるものの方が批評家には響くかもしれないけど、遊び心自体はいいと思うよ。