제03장 머신러닝이 편향을 증폭시키고 수정하는 방법

저자: Angel Zhang & Charlie Cao

"중간에 모델이 있는 건가요?"라고 물으셨습니다. 답은 예——그리고 모델이 하나 이상입니다. 일반적인 콘텐츠 시스템에는 최소한 표현 모델, 랭킹 모델, 피드백 모델이 포함됩니다.

3.1 모델이 편향을 증폭시키는 방법

3.1.1 표현 편향

훈련 데이터에는 역사적 편향이 담겨 있습니다. 모델이 "올바르다"고 학습하는 것은 "역사적으로 가장 많이 측정된 것"에 불과합니다.

예를 들어: "CEO"의 이미지를 검색하면 주로 서양 남성이 표시됩니다——모델이 편향되어서가 아니라, 훈련 데이터가 그것을 반영했기 때문입니다.

3.1.2 피드백 루프 증폭

사용자 클릭 → 모델 학습 → 시스템이 더 많은 같은 것을 제공 → 더 많은 클릭 → 더 강한 편향

이것은 양성 피드백 시스템입니다. 한번 시작되면, 편향은 자기 가속합니다.

3.2 모델이 편향을 수정하는 방법

3.2.1 제약 최적화

목적 함수에 공정성 제약을 추가합니다:
“사용자 만족도를 최대화하는 동시에, 어떤 인구 집단이나 관점도 총 노출의 X% 미만을 받지 않도록 하십시오.”

3.2.2 탐색 메커니즘

추천 시스템은 버블 경계를 깨기 위해 의도적으로 “불확실성이 높고 이전 노출이 낮은” 콘텐츠를 표시할 수 있습니다.
이것은 ε-greedy 전략 또는 Thompson Sampling의 실제 적용입니다.

3.3 모델은 중간 레이어——목표가 영혼이다

$$\text{행렬 (상태 공간)} \times \text{목적 함수} = \text{모델 동작}$$

목표를 바꾸면, 모델은 완전히 다른 동작으로 훈련됩니다.
그렇기 때문에 규제는 목적 함수 레이어에서 작동해야 합니다. 모델 레이어에서만이 아니라.

3.4 장 요약

머신러닝은 중립적인 도구가 아닙니다. 그것은 인간 목표의 증폭기입니다.

목표를 입력하면, 그 결과가 대규모로 증폭됩니다.

이것이 우리 모두가 지금 필요한 기본적인 인지 리터러시입니다.