世界を動かす技術を、日本語で。

いちごのガウススプラット

概要

  • 本データセットは CC BY 4.0ライセンス のもとで公開
  • Nikon Z8Laowa 180mm macro lens を使用した高品質マクロ撮影
  • 88枚の フォーカススタック画像 を90視点から撮影
  • slang-splat によるトレーニングデータ
  • COLMAPデータセット もPatreonで無料公開

データセット概要

  • CC BY 4.0ライセンス で配布され、商用・非商用問わず利用可能
  • 帰属表示は任意 であり、クレジット表記は推奨だが必須ではない
  • データ容量 22.94 MB、撮影は 約3時間前 に実施
  • 88枚のフォーカススタック画像90視点 から撮影した構成
  • カメラは Nikon Z8 (フルフレーム)、 f/7.1, 1/160秒, ISO 100
  • レンズは Laowa 180mm macro lens
  • LEDライト および ブルースクリーン を使用した撮影環境

技術的詳細

  • 撮影画像は 高解像度マクロ写真 として利用可能
  • フォーカススタッキング による全体のシャープな描写
  • slang-splat (https://github.com/MichaelMoroz/slang-splat)でトレーニングに使用
  • COLMAPデータセットPatreon (www.patreon.com/DanyBittel)で無料公開

利用方法・注意事項

  • CC BY 4.0 の条件下で自由に使用可能
    • 帰属表示 は推奨だが、義務ではない
  • データのダウンロードや利用にあたっては、 著作権表示リンク の提供が望ましい
  • 研究・教育・商用 など幅広い用途に対応
  • COLMAPデータセット も併せて利用可能

関連リンク

  • slang-splat GitHub: https://github.com/MichaelMoroz/slang-splat
  • Patreon(COLMAPデータセット): www.patreon.com/DanyBittel

Hackerたちの意見

誰か: 顕微鏡とガウシアン・スプラッティングを組み合わせてみてください。

イチゴをズームインしたとき、私も最初に思ったのはそれでした。もっと適したセットアップで顕微鏡のような効果が得られるのかな。例えば、照明やズーム、レンズとか。

あなたの得意分野かは分からないけど、すごくいいマクロスプラットを見たいなら、ダニー・ビッテルの作品をチェックしてみて: https://danybittel.ch/macro.html 例えばこのバンブルビー: https://superspl.at/scene/cf6ac78e 編集: これが彼によって投稿されたのを完全に見逃してた(:

セットアップ: https://i.imgur.com/o0hgybh.jpeg https://i.imgur.com/mcNiomp.jpeg https://i.imgur.com/vIjw6pc.jpeg https://i.imgur.com/nzOwmSC.jpeg

なんで「スラングスプラット」を選んだのか、もうちょっと詳しく教えてくれない?「リヒトフェルトスタジオ」と比べてどうなの?他のスプラットトレーニングツールと比べてどう?

[1]を読んだけど、まだ何を見ているのかよく分からない。私の推測では、たくさんの詳細な写真から再構築された3Dモデルかな? [1] https://en.wikipedia.org/wiki/Gaussian_splatting

この動画でガウシアン・スプラッティングの仕組みが説明されてるよ: https://www.youtube.com/watch?v=X8yRlA7jqEQ

https://youtube.com/watch?v=X8yRlA7jqEQ で彼らのことを知ったんだ。ほんとにクールだよ!

たくさんの半透明の塊を組み合わせて、イチゴのように見せてるんだ。メッシュやモデルはないよ。イチゴの表面は、物理的に離れたところにある塊で構成されてるかもしれないし、表面がある場所とは違うかも。だから「放射場」って呼ばれてるんだ。光をモデル化してるけど、形状はモデル化してない。実際には、塊の位置や回転を調整して、イチゴの形状により合うようにできるんだよ。

2分でわかる良い説明動画があるよ!https://youtu.be/HVv_IQKlafQ

美しいね。ガウシアン・スプラッティングの好きなところは、劣化の仕方なんだよね。ハードカットオフやLoDで球体が立方体に変わるんじゃなくて、どんどん「夢のような」感じになる。基本的なアイデアはそのままだけど、詳細が少なくなる。例えばこのシーンを見て: https://superspl.at/scene/e721ea7c 木に近づくと、周りがぼやけていく感じで、まるで現実の布がほどけていくみたい。

彼らについては何も知らないけど、これはクールな効果だね。このイチゴでは、ズームインするんじゃなくて、近づいてる感じだよ。ズームで期待するような詳細が増えていくのは見えないし、皮を突き抜けて作られた内部に入っていく感じだね。

写真と3Dモデルの間みたいな感じが好き。これに似たものは他にないよね。

この「夢のような」効果には特別な名前があるの?

AIに対する感情は色々あるよね。でも、AIがリアルタイムでプロンプトからガウシアンのスプラットを思いついて、近づくにつれて洗練させていけるようになったら…それはすごいことになると思うよ。

わあ、これ時間泥棒だね…ここにたどり着いちゃったよ: https://superspl.at/scene/ff1d0393 きれい!

iPhone 12 miniでこれがスムーズに動くなんてすごい!周りを歩き回れて、しかも解像度もちゃんとしてるシーンが楽しめるなんて、めっちゃクールだね。

2011年にPlayCanvasを作ったのは、ビデオゲームを動かすためだったんだけど、2026年になって、イチゴを動かしてるなんてね。

サービスありがとう!オープンソースの魅力の一つは、みんなが新しい使い方を見つけるところだと思う。

ただただすごい!ウェブサイトをスクロールしてたら、これにはさらに感動したよ! https://superspl.at/scene/c67edb74

バックのビショップがちょっと平らに見えるのが残念だね ;-)

かすかな半透明感があるね。これってプロセスの副産物なのかな、それともイチゴの表面層の実際の光学特性なのかな…

角度によっては、イチゴを回転させると目立つ隙間が見えるけど、静止してるとほとんど見えないんだ。たぶんそれが主な原因だと思う。

残念ながら、これは副産物だね。ガウスのスプラットは屈折の概念がなくて、反射の処理が難しいんだ。ハイライトは、まあまあって感じ。いつもそれに悩まされてるよ。

ガウシアン・スプラッティングに不慣れな人のために: https://en.wikipedia.org/wiki/Gaussian_splatting。 (TFAで何を見ているのかまだよくわからないし、ブラウザの設定がサイトを正しく表示できてないのかも… そうだね、もし見えてるのがぼやけたイチゴの画像だけなら、いくつかのJSリソースを有効にする必要があるよ。uMatrixを使ってるけど、いくつかのホストを有効にしないといけない。)

実際のセットデザイナーが作った世界で遊べるゲームがいつか見られるのかなって思う。