미국 루이지애나주 뉴올리언스는 911 비상 전화 폭주를 해결하기 위해 AI를 도입하여 통화를 우선 분류(Triage)하고 인력 부담을 줄이는 시스템을 테스트하고 있습니다. 이 시스템은 동일한 사건에 대한 중복 전화를 AI가 걸러내어 신속하게 안내를 제공하거나 인간 상담원에게 연결해 주지만, 특정 억양 인식 실패나 편향된 데이터로 인한 차별 문제 등의 잠재적 위험도 안고 있습니다.
영국 에이번 세머셋 경찰이 50만 명에 달하는 민감한 개인정보를 수집해 기계학습 기반의 범죄 위험도를 측정했으나, 일부 모델은 예측 성능이 현저히 떨어져 결국 폐기되었습니다. 경찰의 불투명한 알고리즘 운용 방식은 시민들의 데이터 주권 침해와 공공의 신뢰 하락을 초래할 수 있다는 심각한 우려를 낳고 있습니다.
미국 고용시장의 90%가 사용하는 AI 채용 스크리닝 도구가 심각한 인종적 편향을 초래하여 흑인 지원자의 26%, 아시아인 지원자의 15%가 속한 그룹에 대한 차별을 유발한다는 연구 결과가 발표되었습니다. 특히 소수의 동일한 타사 벤더(Vendor)에 의존하는 '알고리즘 단일 문화(Algorithmic monoculture)'가 특정 지원자를 모든 기업에서 체계적으로 탈락시키는 '전사적 거절' 현상을 만들어내고 있어, HR 및 채용 실무자들의 시스템 도입과 모니터링에 중요한 경고를 주고 있습니다.