ハクソク

世界を動かす技術を、日本語で。

マーレンバードID

356日前原文(merlin.allaboutbirds.org)

概要

Merlinは、音声認識や画像認識を駆使したバードウォッチング支援アプリ。 オフラインでも鳥の識別が可能で、世界各地の鳥に対応。 録音や写真から鳥の同定をサポート。 観察記録を「Life List」として保存可能。 eBirdのデータを活用し、地域ごとの鳥リスト作成も対応。

Merlinの主な機能

  • Sound ID による鳥の鳴き声認識

    • 周囲の鳥の声をリアルタイムで解析し、候補種を表示
    • 録音した音声とMerlin内の音源比較による確認
    • 完全オフライン対応 で、場所を問わず使用可能
    • 対応地域：アメリカ、カナダ、ヨーロッパ、一部の中南米・インドの代表的な鳥種
    • 今後さらなる種・地域への拡大予定

  • Photo ID による写真からの鳥種判別

    • 撮影した写真やカメラロールから画像を選択し、候補種を提示
    • 完全オフライン対応 で、どこでも利用可能

  • Bird ID Wizard によるステップ式質問

    • 鳥の特徴に関する 3つの簡単な質問 に答えるだけで候補種をリストアップ
    • 初心者から上級者まで幅広く使える設計
    • 世界中の鳥に対応

Merlinの活用方法

  • Save My Bird で観察記録を「Life List」として保存

    • 「This is my bird!」をタップして個人リストに追加
    • バードウォッチングの思い出をデジタルスクラップ化

  • eBird 連携による地域別鳥リスト作成

    • 現地で見られる鳥のカスタムリスト作成が可能
    • 時期や場所によるフィルター機能
    • オフラインでダウンロードした鳥種のみの表示切替も可能

Merlinの特徴と強み

  • 世界中のユーザーから寄せられた 写真・鳴き声・観察データ を活用
  • 専門家によるアドバイスや Birds of the World の分布マップを搭載
  • eBirdに蓄積された 膨大な観察記録 による高精度な識別サポート
  • さらなる機能活用のためのTipsやトリックもアプリ内で紹介

Hackerたちの意見

このアプリのSound ID部分の研究者たちと友達なんだ！チームは機械学習モデルや評価がしっかりしてることを確保するために、すごく頑張ってるよ。裏では、Sound IDは「専門家主導」の慎重な研究が、データをただ流し込んでうまくいくことを期待するよりも、もっと信頼できる結果を出せる良い例だね。

└

Sound IDには本当に感心してるよ。ある時、家の外で鳥たちがいろんな距離で鳴いてて、そのアプリが30秒以内に6種類の鳥を特定できたんだ。提案された6種類、どれも納得できるものだったよ。

└

アプリに、特定の鳥に「フレッド」とか「バース」とか「ケビン」って名前を付ける機能があったらいいな。庭に来る鳥は同じ種類だってわかってるけど、好きな鳥が新しい相手を見つけたかどうか知りたいし、もし遠くにいるときに「これがケビンだ！」って確認できたら嬉しいな。違う黒鳥に名前を付けるのは難しいかもしれないけど、他の鳥ならAIアルゴリズムでできると思う。

鳥観察をしてる者として、この技術にはすごく感心してる。基本的に信頼してるよ。ただ、似たような種類がいる場所では、数回疑問に思ったことがあるかな。例えば、家の周りにいるのはずっとハウスフィンチだけなのに、紫色のフィンチがいるとは思えない。でも、間違ってるかもしれないしね！それだけの実績があるから、これを間違いだとは言えないな。

鳥観察を数年やってるけど、今年になってやっとこの音の識別器を使い始めたんだ。ほんとに助かってる！音だけで新しい種類を十数種見つけたし、自分でもいくつか識別できるようになった。これでこの趣味を楽しむ新しい方法が開けたよ。少なくともここでは、機械学習やAIが明確に良い影響を与えてるね。

私たちの裏庭にはモッキンバードがいて（正確には、彼/彼女のテリトリーに住んでる）、ギラ・ウッドペッカーの真似をしてるんだ。それを録音できたよ。動画を再生してBird IDを使ったら、ギラ・ウッドペッカーとして認識されたんだ。

└

え、全然そんなことなかったよ！一度、モッキングバードがどれだけいろんな歌を歌ってるか知りたくてこのアプリをダウンロードしたんだけど（めっちゃ多かった）、アプリから返ってきたのは「モッキングバード」だけだった。驚きと同時にがっかりしたよ！

興味深いことに: > Sound IDは、まず音声記録を視覚的表現（スペクトログラム）に変換してから、Photo IDを支えるのと同じようなコンピュータビジョンツールを使って分析されるんだ。そう、上のスペクトログラムがスクロールしてるのはただの可愛いギミックじゃなくて、実際に認識がこうやって機能してるんだよ。

└

ほとんどの音声NNはスペクトログラムで動いてるよ。

└

面白いね。昔、学部生の頃に言語学のラボで働いてたとき、音を特定するためにスペクトログラムを見てたんだ（具体的には発音位置を）。だから、他の音の表現よりもスペクトログラムを使ってモデルを構築するのは理にかなってるね。

└

スペクトログラムは、手動での識別にもすごく便利だし、（少なくとも僕にとっては）鳴き声を覚えるのにも役立つよ。

誰か、ゲーム感覚で楽しめるバードウォッチングや市民科学者向けのアプリを作ってくれたらいいな。これってほぼポケモンみたいなもんだよね。いろんな場所に行って、いろんな生き物を見つけて集める感じ。

└

数年前に同じこと考えてたんだ。実現したらめっちゃいいよね。

└

iNaturalistは観察記録をつけるのに最高だよ（彼らのiNat Nextアプリが新しいやつね）。子供向けのSeekってアプリもあって、トロフィーや連続記録みたいなのがあって面白いと思う。

└

eBirdはまさに君が探してるものだよ: - https://itunes.apple.com/us/app/ebird-by-cornell-lab-ornitho... - https://play.google.com/store/apps/details?id=edu.cornell.bi... メルリンもそれに近いことやってるよ: https://merlin.allaboutbirds.org/download/

└

そのゲームやってみたいな。データが研究者にとって役立つかもしれないし。ただ、ポケモンGOのプレイヤーが私有地や保護区域に侵入したこともあったから、このゲームのプレイヤーは絶滅危惧種の「伝説の」動物の写真を撮るためにどこまで行くんだろうって思っちゃう。

このアプリ大好きで、数日に一回は使ってる。コーネルのマコーレイライブラリーがこのアプリを作ってサポートしてるんだけど、基盤技術についての短い紹介がここにあるよ: https://www.macaulaylibrary.org/2021/06/22/behind-the-scenes...

植物の識別アプリはたくさんあるって知ってるけど、いいのをおすすめしてくれる人いる？（他のコメントで出てたiSeekは、私の住んでるところのiOSでは使えないみたい）

└

inaturalistのSeek

Androidアプリの開発者が「…このアプリはユーザーデータを他の会社や団体と共有しません」と主張してるけど、Exodus Privacyによるとそれは真実じゃないみたいだよね。

すごい技術だよね。たまにはこの技術をゲーム化したり、ソーシャルアクティビティにしてほしいな。バードウォッチングのための「ポケモンGO」みたいな感じで。自然や保護にもっと興味を持ってもらえるいい機会になると思う。