ハクソク

世界を動かす技術を、日本語で。

メタ、スマートグラスに顔認識機能を搭載

6時間前原文(buchodi.com)

概要

Metaのスマートグラス用アプリ「Stella」には、顔認識のための完全な計算・保存スタックが実装済み。 現時点で一般ユーザーにこの機能は有効化されていないが、エンジニアリング的には全てが動作可能な状態。 顔検出・特徴抽出・ローカルDB格納・通知まで一貫したパイプラインを確認。 「Connections」などのUI要素は通常アカウントでは非表示。 今後の運用や有効化はMeta次第。

Stellaアプリに実装された顔認識スタックの詳細

  • Stella はMeta製スマートグラス用の公式コンパニオンアプリ
  • Android版v273.0.0.21（com.facebook.stella）で 顔認識機能一式 の実装を確認
  • 3種類の顔認識モデル （合計約100MB）が端末にインストール
    • SCRFD（顔検出、3.4MB）
    • KPSAligner（顔位置合わせ、117KB）
    • SFace（顔特徴埋め込み、96MB、2048次元出力）
  • これらは オープンソース実装 （InsightFace, SFace等）をベースにしたモデル
  • SFaceは 公開版より大規模 （96MB/2048次元 vs 公開版40MB/128–512次元）

データベース・ストレージ構造

  • 顔特徴量用ローカルDB （/data/user/0/com.facebook.stella/files/rldrive/person_profiles/objects.db）
    • RLDrive：Metaのクロスデバイス同期フレームワーク
    • personテーブル：人物情報
    • faceテーブル：顔画像・特徴量
    • face_mediaPath_vec：2048次元埋め込み、コサイン類似度検索（sqlite-vec拡張利用）
  • 顔認識パイプライン はDBに対して埋め込み特徴で検索→一致時は通知
  • 一致しない場合 はNameTagsPending/に顔画像（.jpg）＋特徴量（.emb）を保存
    • UUIDで命名、特徴量はfloat32×2048（8,192バイト）、L2ノーマライズ済み
    • 0700権限、再起動後も保持
    • 「名前待ちの顔データ」＝後からラベル付け可能な設計

通知・UI要素

  • 顔認識時の通知チャンネル を定義（nametags_recognition）
    • タイトル「Person recognized」
    • 本文「Recognized [名前]」
    • タップでfb-viewapp://name_tags?face_id=xxxへディープリンク
    • v273では遷移先画面が未実装、通知自体は発火
  • 「Connections」ウィジェット も実装済み
    • 「See your connections」「Remember the people you met and make new connections」等の文言
    • 通常アカウントでは非表示、テスト時のみ表示確認

検証結果と考察

  • パイプライン全体が動作することを確認
    • テスト画像で顔検出→埋め込み生成→DB検索→一致時は通知
    • 一致しなければNameTagsPending/へ保存
  • エンドユーザー向けUIや同期挙動は未有効化
    • 通常アカウントでは顔認識UIやデータ同期は発生せず
  • 現時点で「Metaがユーザーの見た人を密かに特定している」証拠はなし
    • ただし、全機能が端末上で動作可能な状態で実装・配備済み
  • 設計・実装規模から偶発的な実装ではなく、意図的なエンジニアリング投資
    • 今後の有効化や運用方針はMeta次第

まとめ

  • Stella v273には 顔認識のための一貫したスタック が実装・配備済み
  • 現時点では一般ユーザー向けに有効化されていない
  • データ構造・通知・UIまで整備されており、 本格運用も可能な完成度
  • 今後の展開やプライバシー運用はMetaの判断に委ねられる

Hackerたちの意見

シカゴの弁護士たちを金持ちにする気満々みたいだね。

└

弁護士たちは刺激的な法律のもとで活動してるよね。法律が変わったらどうなるんだろう？

└

1,000ドル/人で、しかも指数関数的なパワーもない？ほとんど税金みたいなもんだね。

└

これは生体情報の収集に関することで、顔認識サービスの最終ユーザーには関係ないよね。あなたのリンクから: 「BIPAは、イリノイ州でビジネスを行う企業に対して、生体情報の収集と保存に関するいくつかの要件を遵守することを求めています。これには、企業が以下を行う必要があるという要件が含まれます: 個人の生体識別子を収集または開示する意図がある場合、個人から同意を得ること。生体識別子を適時に破棄すること。生体識別子を安全に保管すること。」 「重要な焦点の一つは、企業が生体情報と識別子を管理する際に「合理的な注意基準」を使用しなければならないということです。」

日常生活の中での全てのやり取りをずっと録画するのが、二者同意の州で通るとは思えないんだけど。

└

俺の理解では、その法律は音声を対象にしていて、映像は含まれてないんだよね。

完全にオフラインでこういうのがあったらいいのにな。俺は顔が認識できない（プロソパグノシア）から、友達の写真をオフラインのデータベースに入れて認識させられたら最高だよ。プライバシーを犠牲にすることなく、アクセスできるべきだと思う。

└

正直なところ、こういうのを実装するのは大手テック企業だとしたら、Appleだろうね。今のところ、Photosの顔認識は完全にデバイス内で行われているみたいだし、ローカルで誰と関連付けるかで設定されてるんだよね。

└

この状態に対処しなきゃいけないのは大変だね。今はどんな方法で認識を助けてるの？

└

新しいソフトウェア製品がリリースされるたびに、これを考えちゃう。「いいけど、なんでアカウントと開発者のクラウドに繋がないと使えないの？」

└

まさにその通り。すごく助かると思うけど、データを欲しがる会社に周りの人へのアクセスを渡すつもりはない。最近、顔盲症を説明するのに最適な方法を聞いたんだ: リンゴ。リンゴを見分けられる？もちろん、二つのリンゴを並べたら似てるけど、違いはあるよね。でも、50個の似たリンゴの中からその特定のリンゴを認識できる？もしリンゴが街で話しかけてきたら、前に見たことを覚えてる？それが顔盲症の感じ方なんだ。対処法はあるけど、文脈依存でエラーが起きやすい。赤い髪とひげのリンゴ？それは隣のオフィスの同僚だね。でも、昨日街で手を振ってくれたリンゴと同じだった？赤いリンゴの中の唯一の緑のリンゴ？簡単に認識できる。でも、ちょっとした誤解の後に、実は二つあることに気づく。髪型の変化は本当に厄介だよ。昼休みにその新しい同僚が誰なのか疑問に思ったことがある。聞こうとした瞬間、彼女が何か（関係ないこと）を言って、声を認識した。10年間一緒に働いてたのに、彼女は髪を染めてたんだ。

└

かなり実現可能だと思う。私の小さなラズベリーパイでImmichを使えば、50,000枚の画像の顔認識が一晩でできるよ。

└

これを実現するのは難しくないはず。顔認識はローカルで簡単に動かせるから。

└

digiKamが使ってる顔検出モデルは、私の経験ではすごく正確だよ。オープンソースで、完全にオフラインで動く。

└

Metaがハードウェアをリリースしないと、代替OSの話は始まらないね。この分野でオープンソースハードウェアが普及してないのは残念だけど、過去にも似たようなことがあった。（ロックされたデバイスを買って代替OSをインストールすること。）

└

Appleだけがこういう処理をやってる会社だね。

Meta、Flock、Palatirがチームを組むのもアリかもね？マスクのような悪のコンボ株を作るとか。

スタートアップのアイデア: 普通のメガネのフレームに近赤外LEDをブリッジとサイドに付ける。PWMで効率的に、明るいけど10Hzくらいの不安定なクロック。

└

これだね。監視カメラを盲目にするためのプロジェクトはすでに存在してる。

└

そうなると、カメラにIRフィルターが内蔵されるようになると思う。

これの正反対を身に着けたいな…つまり、もし誰かが私の近くでFacebookのAI搭載メガネを使ってたら、通知（何かしら）を受け取って、その人たちを避けられるようにしたい。

└

もしこれが存在したら、Facebookが売ってたらどうなる？

└

Play Storeの「Nearby Glasses」がそれをやってるよ。（関係ないけど、自分でアプリを書く前に簡単に検索した。）

2012年にGoogle Glassが初めて発売されたとき、私はカンファレンステクノロジーのスタートアップを運営していて、スピーカーや参加者のプロフィール写真がたくさんあったから、Glassを使って「混雑した部屋で会う予定の人を見つける手助けをするアプリ」を作るのが明らかだと思った。でも、Google Glassの開発者向けの規約ではそれを作ることが厳しく禁止されていて、理由を考えるのに数秒もかからなかった。

└

そうだけど、Metaはあなたの家の外に茂みを植えたストーカーみたいなもので、データを集めながら隠れる場所を確保してるんだ。データをどうするかは分からないけど、持ってる。あと、あなたの匂いが好きだとも言ってたよ。

└

でも、広告を売る方法がわからなかったからだよね。

個人的には、Metaはテクノロジー史におけるプライバシー侵害の代表例だと思う。この新しいスマートグラスデバイスで、彼らは人々の家の中、時には裸の状態で、同意なしに録画するというやりすぎなことをしてしまった。約1ヶ月前にここでも話題になったよね。「Meta、スマートグラスユーザーがセックスしているのを見た従業員が職を失う」（https://news.ycombinator.com/item?id=47961838）

└

こういうのを着けてる人を自分の場所や生活から排除するのは、社会的に普通のことになってほしい。便利な機能があったとしても、データマイナーを着けてる人は近くにいてほしくない。マジで消えてほしい。

発明が影響力が大きくてポジティブであればあるほど、間違った手に渡ると危険になる。悲しいことに、AIは急速に開発されていて、みんな何かを引き出そうとしてる。それはつまり、権力者がその力を増そうとするってこと。最近は、ボールサイズの核を juggling してる気分だよ…すごいけど、いつか誰かがボールを落とすんじゃないかって心配になる。

この記事のポイントじゃないけど、そのスキーマデザインはかなり悪いと思う。