概要
ExoPriors Alignment Scryは、Hacker News、arXiv、LessWrongなどの高品質な公開データをSQL＋ベクトル検索で横断的に調査できる研究ツール。 パブリックAPIキーで即利用可能、アカウント登録でさらに高機能。 ClaudeなどのAIツールと組み合わせて高度なクエリ作成やアラート通知も可能。 BM25・埋め込みベクトル・ハイブリッド検索など多様な検索手法をサポート。 パフォーマンスやセキュリティに配慮した利用ガイドラインも整備。
ExoPriors Alignment Scry 概要
- 公開APIキー を利用し、 SQL＋ベクトル検索 で60M件以上のドキュメント横断検索が可能な研究ツール
- LessWrong、arXiv、Hacker News など多様な高品質情報源をカバーするデータベース設計
- BM25全文検索、埋め込みベクトル検索、ハイブリッド検索 など多様な検索モードをサポート
- Claude などのAIツールと連携し、 SQLクエリ自動生成・アラート通知 など高度な自動化に対応
- パブリックアクセス でも即利用可能、 アカウント登録 でプライベート領域・高負荷時の優遇・トークン上限拡大
主な機能・使い方
- SQLクエリ送信 による柔軟な検索・分析
- 例：特定キーワードの投稿やコメントを抽出
- curlコマンド や SQL例 が公式ドキュメントに記載
- ベクトル埋め込み による意味検索
- 例：特定概念に近い投稿の抽出や、複数概念の合成検索
- スキーマ自動発見 や クエリ負荷見積もり で安全な実行をサポート
- マテリアライズドビュー で高速な事前絞り込み検索
- 例：
mv_lesswrong_posts,mv_hackernews_commentsなど
- 例：
- アラート機能
- 指定条件で新規投稿があれば 自動メール通知
- 例：「estrogen」に関する新規議論検知
- 埋め込みベクトルの保存・再利用
- 個人属性や概念プロファイルの作成・検索効率化
セキュリティ・パフォーマンス指針
- クエリ実行前に要約と確認 を推奨、重いクエリは明示的な承認を要求
- LIMIT指定や候補セットの絞り込み でタイムアウト回避
- パブリックキー利用時 は大規模結合や全件スキャンを避ける設計
- prompt injection 等のリスクも明記し、自己責任での利用を推奨
- API利用権限 は最小限に設定、必要時のみネットワークアクセスを許可
利用開始方法
- APIキー（公開・登録不要）
exopriors_public_readonly_v1_2025を利用
- curlコマンド例 や SQLサンプル を公式ドキュメントからコピペで即実行可能
- Claude Web や Claude Code との連携でノーインストール・即時利用環境
- アカウント登録 でプライベート領域や高負荷時の優先権など追加機能
応用例・高度な使い方
- 埋め込みベクトルの合成・差分計算
- 例：
@FTX_crisis - (@guilt_tone - @guilt_topic)で「FTX危機」かつ「罪悪感トーンのない」投稿検索
- 例：
- 著者や時系列での知的ドリフト分析
- 例：ある思想家の変化をベクトルで可視化
- ハイブリッド検索
- BM25で候補抽出→埋め込みベクトルで再ランク
- 高パフォーマンスパターン
- CTEやBM25の
kindsパラメータ活用で効率化 - マテリアライズドビュー利用で高速化
- CTEやBM25の
注意点・制限事項
- パブリック利用時はLIMIT 100 など上限あり、大規模データ取得時はアカウント登録推奨
- 埋め込みトークン上限 や タイムアウト に注意
- 信頼できる情報源中心 だが、 prompt injection リスクなどセキュリティは自己責任
- API仕様やデータ量制限 は公式ドキュメントで随時確認
まとめ
- ExoPriors Alignment Scry は、AI・機械学習・哲学・テック関連の最先端議論を横断的に検索・分析できる 強力な研究基盤
- ノーコード・即時利用 から 高度なSQL/ベクトル演算 まで幅広く対応
- AIツールとの連携 で、専門家でなくても 最先端のリサーチ体験 が可能
- 研究者・技術者・情報探索者 にとって、 無料かつ高性能な知識探索ツール