第03章 機械学習はどのように偏見を増幅し修正できるか

著者：Angel Zhang & Charlie Cao

「中間はモデルですか？」と聞きました。答えはイエスです——そして一つ以上のモデルがあります。典型的なコンテンツシステムには、少なくとも表現モデル、ランキングモデル、フィードバックモデルが含まれます。

3.1 モデルがどのように偏見を増幅するか

3.1.1 表現バイアス

学習データには歴史的な偏見が含まれています。モデルが「正しい」と学ぶことは、「歴史的に最も測定されたもの」に過ぎません。

例えば：「CEO」の画像を検索すると、主に西洋の男性が表示されます——モデルが偏っているからではなく、学習データがそれを反映していたからです。

3.1.2 フィードバックループの増幅

ユーザーのクリック → モデルが学習 → システムがより多くの同じものを提供 → より多くのクリック → より強い偏見

これはポジティブフィードバックシステムです。一度始まると、偏見は自己加速します。

3.2 モデルがどのように偏見を修正できるか

3.2.1 制約付き最適化

目的関数に公平性の制約を追加する：
「ユーザー満足度を最大化しながら、いかなる人口統計グループや視点も総露出の X% 以上を受けるようにしてください。」

3.2.2 探索メカニズム

推薦システムは、バブルの境界を破るために「不確実性が高く、過去の露出が少ない」コンテンツを意図的に表示できます。
これは ε-greedy 戦略や Thompson Sampling の現実世界での適用です。

3.3 モデルは中間層——目標が魂だ

$$\text{行列（状態空間）} \times \text{目的関数} = \text{モデルの動作}$$

目標を変えると、モデルは完全に異なる動作へと訓練されます。
だからこそ規制は目的関数の層で機能しなければならないのです。モデルの層だけでなく。

3.4 章のまとめ

機械学習は中立なツールではありません。それは人間の目標の増幅器です。

目標を入力すると、その結果が大規模に増幅されます。

これは私たち全員が今必要な基本的な認知リテラシーです。