概要
- HN(Hacker News)でのボット増加 を感じた体験談
- 新規アカウントの投稿内容 に異常な傾向を発見
- 記号やAI関連ワードの使用頻度 に大きな差
- 簡単な統計分析 による証拠提示
- サンプルデータと考察 の共有
HNの新規アカウントにおけるボット増加の兆候
- 最近数ヶ月間で、HN(Hacker News)におけるボットの増加 を強く実感
- アカウントが投稿する内容 に、意味不明な文字列やランダムな記号列が頻繁に見られる現象
- 明らかにバグった投稿例 として「13 60 well」「t6ctctfuvuh7hguhuig8h88gd」など、無意味なテキスト列の多発
- 一見して異常な投稿以外にも、全体的な雰囲気の違和感 や、内容が極端に平凡・話題から逸脱したコメントの増加
- /newcomments(最近のコメント)と/noobcomments(新規アカウントのコメント)をスクレイピング して傾向を分析
統計分析による異常傾向の発見
- 新規アカウントのコメントは、em-dash(—)や矢印、特殊記号の使用率が約10倍 (17.47% vs 1.83%、p = 7e-20)
- AIやLLM(大規模言語モデル)に関する言及率も新規アカウントで高い (18.67% vs 11.8%、p = 0.0018)
- サンプルサイズは各カテゴリ約700件 だが、差は非常に大きい
- 通常のユーザーでも特殊記号を使うことはあるが、新規アカウントで10倍という頻度は説明困難
- この傾向から、ボットによる自動投稿や生成AIの利用が疑われる状況
データと考察
- 分析に使用したデータは、/newcommentsと/noobcommentsから取得
- 各カテゴリ700件程度のサンプルを比較対象とした統計的検証
- 記号やAI関連ワードの使用頻度の大幅な違いが、ボット増加の証拠として有力
- 今後も同様の手法で、コミュニティの健全性をモニタリングする必要性