ハクソク

世界を動かす技術を、日本語で。

DatabricksがNeonを買収

361日前原文(databricks.com)

概要

  • DatabricksがNeonの買収を発表し、AI時代のサーバーレスPostgres提供を目指す提案。
  • Neonはストレージとコンピュートの分離による革新的なデータベース設計を実現。
  • AIエージェントによるデータベース利用が急増、Neonの強みがAI時代に最適化されていることを確認。
  • 両社はオープンソースとインフラ技術革新のDNAを共有していることを強調。
  • 既存Neonユーザー・パートナーへのサポート継続と今後の展望を約束。

DatabricksによるNeon買収の発表

  • Databricksは Neon 買収合意を発表、サーバーレスPostgres分野でのリーダーシップ強化を提案。
  • Neonの共同創業者は、 ストレージとコンピュートの分離 という現代的なデータベース設計を実現した数少ない専門家であることを強調。
  • Neonの トップクラスのPostgresエンジニア陣 がDatabricksに加わり、AI時代に最適なサーバーレスPostgresを開発することを目指す提案。

Neonの開発者ファーストなミッションと技術革新

  • Neonは Postgresを標準化 し、サーバーレス化・即時インスタンス作成・自動スケーリングを実現することを目指して設立されたことを説明。
  • 開発者が 数秒で新しいPostgresインスタンス作成 できるようにすることを重視。
  • 負荷変動に応じた自動スケーリング で、オーバープロビジョニングやアンダープロビジョニングの心配を解消することを目指す。
  • データベースのフォークやブランチ作成 を即時に行い、テストや実験を容易にすることを重視。
  • ストレージとコンピュートの分離 アーキテクチャにより、上記の目標全てを実現することに成功したことを強調。

AIエージェントによる利用増加とNeonの強み

  • NeonのGA（一般提供）以降、 AIエージェントによるデータベース作成割合が30%から80%以上へ急増 したことを確認。
  • AIエージェントは 高速なプロビジョニング ・ 低コストなスケーリング ・ 即時ブランチ/フォーク など、Neonの特徴を最大限に活用可能であることを説明。
    • Postgresオープンソースエコシステム：AIエージェントはPostgresに精通しているため、Neonの利用が容易であることを提案。
    • スピード：AIエージェントは機械速度で動作するため、 即時データベース作成 が不可欠であることを強調。
    • エラスティックスケーリング・価格： サーバーレス構造 により、大量のエージェントごとに独立したデータベースを低コストで作成可能であることを説明。
    • ブランチ/フォーク：AIエージェントの非決定的な動作検証に、 完全分離されたDBインスタンスの即時作成 が有効であることを提案。

両社が共有するDNAとオープンソースへのこだわり

  • Neon創業者（Nikita Shamgunov, Heikki Linnakangas, Stas Kelvich）は データベース業界で著名な実績 を持つことを紹介。
  • DatabricksとNeonは インフラ層の技術革新 と オープンソース重視 という共通のDNAを持つことを強調。
    • Databricksは Apache Spark™ をUC Berkeleyで立ち上げ、Postgresの発祥地とも関わりが深いことを紹介。

既存Neonユーザー・パートナーへの影響と今後の展望

  • Neonプラットフォームの 将来性を全面的にコミット し、今後も野心的なロードマップを推進することを約束。
  • 買収後も 既存顧客・パートナーへのサポートとイノベーション継続 を明言。
  • Neonユーザーにとっては Databricksのリソースによる恩恵 が期待できることを提案。
  • Databricksのエンタープライズ顧客にも 新たな価値提供 が見込まれることを説明。
  • さらなる詳細は Data + AI Summit（サンフランシスコ、6月9-12日） で発表予定であることを告知。
  • Neonの公式ブログでも、買収への期待が語られていることを案内。

Hackerたちの意見

Neon'sブログ記事: https://neon.tech/blog/neon-and-databricks WSJの記事: https://www.wsj.com/articles/databricks-to-buy-startup-neon-...

もしかしたら関係ないかもしれないけど、Databricksは今まで使った中で一番イライラするゴミだよ。誰が自分の意思で使うのか不思議だわ。

└

IBMみたいなソフトウェアやプラットフォームの市場（みんなこれ使ってる！良いに違いない！）はまだ飽和してないみたいだね。

└

以前はこのプラットフォームの大ファンだったんだ。2020年/2021年の頃は、データプラットフォームを作るのにAWS/Azure/Snowflakeと比べて本当に唯一の合理的な選択肢だったから。今は機能が増えすぎて、ピボットや買収が多すぎて苦しんでる。機能の名前がめちゃくちゃ下手なのも助けになってない。

└

本当に大反対だわ。Hadoopから来た身としては、Databricksはユートピアだよ。安定してるし、速いし、大規模なデータセットがあればスケールもすごくいい。唯一の不満は、めちゃくちゃ高いこと。

└

クッキーを無効にすると真っ白なウェブサイトが出てきて、これは大きな赤信号だし、即座に「ノー」って感じ。ウェブサイトを作れない人が良い（デジタル）製品を提供できるとは思えない。

└

Databricksは2013年に始まったんだけど、その頃Sparkはクソだった（今もだけど）。彼らはそれをより良く、速くしようとしてる（実際にやってる）。製品はまだSparkを中心にしてるけど、ほとんどの企業はSparkを必要としてないし、IcebergとDuckDBの組み合わせで95%の企業には十分だよ。安いし、同じくらい速いかそれ以上だし、理解するのもずっと簡単。Definiteではその前提でデータプラットフォームを構築してるんだ。[0] データを始めるために必要なもの（ETL、BI、データレイク）が全部揃ってるよ。0 - https://www.definite.app/

└

ホスティングスパークってそんなに画期的なの？それに、スパークって企業のデータ処理の90%にはちょっと複雑すぎるんじゃない？この会社の評価が理解できないんだけど、なんでこんなに高いの？

└

Databricksはデータを扱うためのJiraみたいなもんだね。誰も使いたがらないし、クソだし、全てのユーザーに合わせようとしすぎて機能が多すぎるけど、どれも特に良くない。今は昔よりもずっといい選択肢があるよ。自分は絶対に選んで使うことはないね。

└

サーバーレスをめっちゃ推してるけど、制限や驚きの落とし穴がめっちゃ多いんだよね。ほんとにイライラするわ。

└

正直、ほんとに退屈だよ。2010年代後半に戻るしかない。あの頃、信頼できるセルフホステッドのSparkインスタンスを企業環境で見つけるより、レプラコーンを見つける方がマシだった。ほとんどの企業ITチームにはそれが無理だったからね。ハイパースケーラーのファーストパーティの提供は比較的質素だった。Databricksの独自のノートブック形式はJupyterとの微妙な互換性の問題を引き起こして、イライラさせる「抱きしめて、拡張して、消す」スタイルのクソだったけど、オンプレミスクラスタの不安定さでジョブが毎日クラッシュするのはもっとイライラした。あの頃、企業は分析チームを加速させるためにプレミアムを払うことに喜んでいた。2010年代には、Databricksはしっかりした10億ドルのビジネスを持ってた。でも、Spark-as-a-Serviceだけではユニコーンアイデアにはならなかった。AWS EMRは背景でじわじわと差を詰めてきた巨大な亀だった。現状は続かないし、誰もがユニコーンになりたいと思うよね。だから、彼らは製品を膨らませて、オフブランドのグロースハッカーのクールエイドを飲んで、左海岸から出てくる最も意味不明なバズワードサラダを吐き出し始めた。データ、レイク、ハウスをすべてのものの末尾に貼り付けて、まるでDiddyパーティーのベビーオイルみたいに。今、2025年にここにいて、エンシティフィケーションの終末的な衰退の真っ只中で、彼らはただ腐っていくのを待ってる。リアルなクソ野郎、ラリー・エリソンが彼らを拾って地獄に連れて行くのを。フロリダ州、でもビッグデータ企業のために。今日、誰がグリーンフィールドプロジェクトのためにDatabricksを選ぶのかは私にも謎だけど、5年以上前の企業は今やしっかりとロックインされてる。彼らはそのクジラを搾り取って、数年は金の卵を産むけど、市場シェアは徐々に減っていく。これが生命のサイクル。エントロピーは常に勝つ。最終的には死神ラリーが私たち全員を迎えに来る。彼らをあまり嫌うつもりはないよ。彼らはかなりの成功を収めたから。

Neonチームの最初の投稿をHNで見たのを覚えてる。その時、いいアイデアだと思ってコメントした気がする。今まで使う必要はなかったけど、いつか使うだろうと思ってた。皮肉なことに、こういう買収があるとちょっと考えちゃうのは俺だけかな？新しいオーナーのニーズにもっと焦点を当てる必要が出てくるんじゃないかって心配してる。理論的にはニーズが一致するはずだけど、実際にはそううまくいかないことが多いよね。

└

一旦休憩中… IAを提供することと開発者にサービスを提供することは一致しないと思う。PostgreSQLのコアに関する仕事がコミュニティに役立つことを願ってる。

└

Neonチームの最初の投稿をHNで見たのを覚えてる。あの時、素晴らしいアイデアだと思ったってコメントした気がする。私も！それを覚えてる。すごく魅力的だと思った。ストレージとコンピュートの分離は新鮮だったし、Pageserverについて質問したんだ。[0] データベース開発に入るためのキャリアアドバイスも求めたよ。[1] 2年後、Tursoデータベースで非常に似たような分散ストレージに取り組むことになった。Neonチーム、おめでとう！[0] - https://news.ycombinator.com/item?id=31756671 [1] - https://news.ycombinator.com/item?id=31756510

Neonチームおめでとう！（彼らが作ったものは好きだけど）、Databricksとの価値や関係が見えないな。Neonがスタンドアロンの製品として続くことを願ってる。そうじゃないと、市場からしっかりしたPostgresプロバイダーが消えちゃうよ。

└

FAQではそう主張してるけど… どうなるかは分かってるよね。

└

Azureではかなり重いから、なくなるとは思えないな。これはDBXが分析データベースに加えて、トランザクショナルデータベースの領域に進出するためのプレイだね。

DatabricksはOracle並みにヤバい。絶対にNeonを台無しにするか、高くするだろうな。中長期的にはNeonの代替品を探し始めるつもり。

└

確かに同意するよ、彼らのM&A戦略は買収した企業を締め付けるようにできてるし、自分たちがそれに気づいてないのが面白い。アイスバーグやDuckDB、オープンソースの世界で起こってる他の大きな変化に直面して苦戦してるね。買収を通じてイノベーションを試みてるけど、文化が買った会社を潰しちゃうからうまくいかない。偏見があるけど、俺はビッグデータ技術の難民（元スノーフレーク）で、今はhttps://tower.devに取り組んでるけど、アイスバーグによってオープンソースのトレンドが支持されてるのは確かだね。これがどうなるか見るのが楽しみだよ。

Neonチーム、おめでとう。正直言うと、ちょっと悲しい気持ち。NeonがCockroachDBの「ビジネスソース」によって空いた隙間を埋めてくれることを期待してたんだ。DataBricksに買収されると、Neonが私にとってはずっと興味が薄れる。以前に企業を買収する際に問題を抱えていたような大企業が、私にとって最も重要なインフラに本当に気を使ってくれるとは思えない。もっと「モダン」なPostgreSQLの需要は確かにあるけど、直接の代替品はほとんどがそのルーツから遠ざかってる。価格、互換性、ソースの可用性など、いろいろな面でね。私がPostgresの代替品を探していた時は、これらが候補だった：1. AWS RDS：すでにAWS RDSを使ってたけど、高いし、スケーリングや運用の問題があった。2. AWS Aurora：推奨されたもので、運用の問題は解決したけど、他のニッチな欠点もあった。ほぼ他のワイヤ互換のPostgreSQL代替品と同じ欠点。3. CockroachDB：すごく興味深かったし、ワイヤ互換だったけど、互換性の問題が深刻で、当時はオープンソースだったけど、私たちのツールには合わなかった。4. Neon：当時は成熟していないと考えられてたけど、確かに興味深くて、私たちの課題のほとんどを解決できそうだった。ただ、PostgreSQLの運用問題のいくつかは解決できなかったかもしれない。5. Yugabyte：興味深い技術で、同じような互換性の問題があったけど、他よりは少なかった。私が知る限り、PostgreSQLのクエリエンジンも使ってるから。PostgreSQL用のさまざまなセルフホスティングユーティリティも見たけど、特にCloudPGがあった。でも、KubernetesとPostgreSQLの状態を維持するリソースがなかった。ほとんどの要件は満たせるけど、KubernetesとPostgreSQLの両方で追加のメンテナンス負担があった。PostgreSQLを単独でホスティングするのは、その時点では成熟したレプリケーションや運用機能がなかった。徐々に成熟してきてるけど、私たちが多くのデータベースを持っていたので、手動でのアップグレードやパッチ適用は非常に時間がかかる。PostgreSQLにはあまり良くないアップグレードの癖があるからね。メジャーアップグレードの際には、基本的にすべてのデータをアンロードして再ロードしなきゃならない。拡張機能や他のサービスを使ってこの問題を回避しない限り。

└

他のワイヤ互換のPostgreSQL代替品と同じ欠点について、詳しく教えてくれると興味あるな。

└
  1. Yugabyte：興味深い技術で、同じような互換性の問題があったけど、他よりは少なかった。私が知る限り、PostgreSQLのクエリエンジンも使ってるから。NeonはPostgresだよ。
└

自分の短いエンジニアとしての経験（2014年〜）から言うと、X年のPostgreSQLに対する「現代的な」最良の代替品は、X+5年のPostgreSQLだったよ。 :)

先週ネオンに応募したんだけど、買収のニュースが出たんだ。今朝、落ちたって通知が来た — 応募の拒否を受け取るのがこんなに嬉しいのは初めてだよ。これで3回連続で買収されるところだったし…まあ、いいや、あそこはひどいから。安定が欲しいだけなんだ。ネオンチームおめでとう！ネオンを使ってて大好きだから、あまり変わらないことを願ってるよ。

└

ケンナセキュリティにCiscoに買収される1ヶ月前に雇われたんだけど、すごく miserable な経験だったから、ケンナのリーダーシップが関わってる会社では働きたくないし、Ciscoで働くことも考えたくない。

└

自分は逆の経験をしたことがあるな。買収の時期って、雇われるにはすごく面白いタイミングなんだよね。何回か、成功裏に買収を企業に統合した実績があるからリクルートされたこともあるよ。

└

もしネオンの前の評価額（何であれ）で参加して、突然の給料日が来たらどうなるんだろう（ちょうど十分な権利確定があったとして）。

└

本当にこれが彼らをあまり変えないことを願ってる。私の予想では、このチームはオンラインテーブル技術に統合されるだろうから、製品的には意味があると思う。 https://docs.databricks.com/aws/en/machine-learning/feature-...

└

初年度のエンジニアリングマネージャーとして買収に関わったことがあって、その後の2回のレイオフを乗り越えなきゃいけなかったんだ。チームの再編成を手伝ったり、誰を残すか決めたりするグループにも参加してた。士気は最悪で、文化も全然合わなかった。ほんとに疲れ果てて、数ヶ月休んだよ。今はまたICとして幸せに働いてる。

データウェアハウジングはオープンソースを通じて急速に商品化してるね。クルーダーに2PB以上のデータを持ってる会社を知ってるけど、クラウド（とDatabricks）に移行する代わりに、アイスバーグ、トリノ、スーパセットを使って自分たちの分析プラットフォームを構築して5倍のコストを節約したんだ。k8sオペレーターは今やエンタープライズ品質だよ。オンプレミスのS3もいいし、素晴らしいハードウェア（128コアのサーバーと1TB）やネットワークも持てる。トリノだけじゃないよ。StarRocksやClickhouseもエンタープライズグレードのk8sヘルムチャート/オペレーターを持ってる。60億の評価はDatabrickにとって重荷だね — 彼らの価格設定がそれを正当化しなきゃいけないし、コアビジネスが商品化してるから。ネオンは運用（行指向）DBがないという製品のギャップを埋めてくれた。

└

完全に同意だね。オープンソースのStarRocksユーザーとして、テラバイトのデータに対する顧客向け分析にk8sオペレーターを使ってるけど、俺の世界ではDatabricksの必要性はほとんどないよ。

└

KubernetesオペレーターをベースにしたオープンソースのClouderaの代替品を探してる人いる？うちらはそれを作ってるところで、もう約5年経つよ： https://stackable.tech/ & https://github.com/stackabletech/ ただ、オンプレミスのオープンソースS3は問題だね。MinIOには手を出さないし、それ以外はエンタープライズ向けのソリューションがちょっと空っぽに見える。

└

もう数十年も商品化されてるよね。価格対性能みたいな指標には長い歴史があるけど、SnowBricksの製品はそれに関してはかなりひどい結果を出してる。違いは、強引な売り込みと、ソフトな売り込みか、全く売り込まないかって感じだね。

└

なんでDatabricksから運用DBを買うの？市場価値を維持しようと必死になってるだけにしか思えない。

└

Databricksがただの行DBが欲しかったなら、自分たちでPostgresを使えばよかったのに。Neonにこれだけ払うのは、Neonが特別な何かを持ってるってことだと思う（彼らのマーケティングラインを知ってると、「Postgresのための独立してスケーラブルなストレージと計算」ってことだね）。

└

企業向けにコモディティ化してないね。前の職場ではオープンソースソフトウェアや、10年後に存在しないかもしれない会社、データを自分たちのテナント以外に保存する会社は許可されなかった。普通は「電話してくれ」っていう価格を探すんだけど、今回はDatabricksを追加して、それが私のトップ3の成果の一つと見なされたんだ。データプラットフォームについて考えなくて済むから、ただ使うことに集中できる。新しいプラットフォームに合わせて再構築するのは企業にとってめっちゃ高いから（ここにオープンソースプロジェクトを挿入）、スタートアップを一つ追加したけど、今のところすごくうまくいってる。ただの特例で、グローバルCEOがその機能を欲しがってたからだけど。MongoDBを使ってて、オペレーションチームはスキルがなかったから、無関係なデータストアのために一つの小さなことを学ぶ代わりに、Atlasを使うために現金を追加してサポートやRBACなどをつけた。デフォルトのAzureファイアウォールは使えなかったから、知ってるファイアウォールを追加したりもした。契約もいっぱいあったし、雇用の負担を減らして、電話する番号は一つで済んだ。スタートアップのコストは年間5-10kドル。サポートのBSは約40kドル。（正確な数字は忘れたけど、スタートアップのコストを圧倒してた。）スタートアップは金星から、企業は木星から来てる感じ。

└

ここ数年、ClickHouseを問題なく使ってて、すごく満足してる。堅牢なデータベースで、さまざまな機能があって、私のニーズをすべて満たしてくれる。一番好きなのは「外部辞書」機能で、これを使うとPostgresやRedisのような他のデータストアと簡単に統合できるんだ。

└

ETLには何を使ってるの？

ネオンチームおめでとう！彼らは素晴らしい製品を作ってるよ。これを見るのは悲しいけど、VCから資金を受けてると避けられないことだよね。ニキータたちが強くあり続けて、Databricksに噛まれないことを願おう。

実際の記事から > Neonが昨年GAになったとき、面白い統計に気づいたんだ：データベースの30%は人間ではなくAIエージェントによって作成された。最近再度統計を見たら、その数は30%から80%を超えたんだ。つまり、AIエージェントが人間の4倍のデータベースを作っているってこと。これには警鐘が鳴ってるよ。Databricksはポストグレスを何かAIソリューションとして売り込もうとしてるし、今は変な時代に生きてるね。

└

それらのDBのうち、どれがまだアクティブに使われてるんだろうね…