概要
- 世界中の英語アクセントの多様性を3D可視化で探求
- BoldVoice独自の大規模データセットとHuBERTモデル活用
- アクセントのクラスタリング傾向と地理・歴史的要因の発見
- プライバシー保護のための音声標準化技術
- 学習モデルの洞察から発音指導ツールの進化へ
世界の英語アクセント可視化ツアー
- BoldVoiceは、 200以上の言語話者 が利用する アメリカ英語発音トレーニングアプリ
- ユーザーが 明瞭かつ自信を持って英語を話せる ことがミッション
- アクセント強度メトリクス開発の過程で、 モデルがどのようにアクセント・方言・母語・言語ファミリーをクラスタリングするか を調査
- 今回は 3D潜在空間可視化 を用いた分析結果を共有
技術的アプローチ
- HuBERT（音声基盤モデル）をアクセント識別タスク用にファインチューニング
- データセット：BoldVoice独自の 英語非ネイティブ音声＋自己申告アクセント
- 25,000時間・3,000万件 の音声記録を使用
- 全レイヤーをアンフリーズ しA100 GPUクラスタで1週間学習
- モデル構成
- 入力：生波形（16kHz）
- 特徴抽出→特徴射影→トランスフォーマーエンコーダー→分類ヘッド
- パラメータ数：94.6M（全て学習可能）
- ダウンサンプリング：320倍
- トランスフォーマー：12層、ヘッド数12、次元768
- テキストプロンプトやトランスクリプトは未使用
- アクセント識別性能は高い が、今回は 潜在空間でのクラスタリング に注目
可視化手法
- UMAPによる次元削減 で768次元→3次元へ
- 各点は1つの音声記録を表現し、色は真のアクセントラベル
- 予測とターゲットが一致した点のみを抽出しノイズ除去
- 可視化の目的はモデルの性能評価ではなく、アクセント間の相対的位置関係の理解
プライバシー保護の革新
- 点をクリックすると標準化音声を再生
- 話者匿名化 と アクセント差分のみ抽出 が目的
- 性別・録音品質・背景ノイズ等の影響を排除
- アクセント保持型音声変換モデル を社内開発
- 一部音響的アーティファクトが生じる場合あり
探索・考察ポイント
- 可視化空間を自由に操作・拡大・フィルタリング可能
- 地理的近接・移民・植民地史が言語系統よりもクラスタリングに影響
- AustralianとVietnameseのクラスタが隣接
- オーストラリア訛りの英語を話すベトナム系話者 が橋渡し
- French/Nigerian/Ghanaianのグループ化
- AustralianとVietnameseのクラスタが隣接
- マップ上の距離は客観的な音韻類似度ではなく、モデルが音声のみで学習した結果の副産物
- インド亜大陸クラスタ
- Telugu, Tamil, Malayalam が南端、 Nepali, Bengali が北西端に分布
- 地理分布を大まかに反映
- MongolianとKoreanクラスタの近接
- 音韻的類似性の指摘 と 言語系統仮説（Altaic） の歴史的背景
- モデルは言語知識なしで音響的特徴を捉える
結論と今後
- 大規模音声モデルが世界の英語発音の共有された音韻空間を捉える
- 潜在空間でのアクセント配置を分析することで、より効果的な発音指導ツール設計が可能
- BoldVoiceのミッション：全ての英語学習者が「伝わる・自信を持てる」発音支援
- 音声MLエンジニア・言語学者・一般読者からの意見や提案歓迎
- 社内ダイアレクトコーチRon Carlosの専門的協力に感謝