콜롬비아 대학교 등의 연구진에 따르면, 생명의학 논문에서 조작된 참고문헌의 비율이 2023년 이후 12배 이상 급증했습니다. 챗GPT와 같은 언어 모델이 주요 원인으로 지목되며, 이러한 가짜 인용문은 특히 실제 임상 진료 지침의 근거가 되는 리뷰 논문에 자주 등장해 환자 치료의 근거 체계를 훼손할 위험이 큽니다. 연구진은 출판 전 자동화된 인용 확인 시스템 도입과 기존 논문에 대한 소급 검사를 촉구하고 있습니다.
WIRED의 전문 팩트체커는 AI 검색 엔진과 챗봇이 제공하는 정보의 최대 절반이 틀릴 수 있다고 경고합니다. AI는 방대한 데이터를 분류하는 데 도움이 되지만, 여전히 환각(Hallucination) 현상을 일으키며 진실을 검증하는 과정에서 인간의 전문적 개입은 필수적입니다. 따라서 AI를 정보의 탐색 도구로 사용할 때는 그 정확성을 비판적으로 검토하는 자세가 요구됩니다.
마이크로소프트 코파일럿(Copilot)과 구글 제미나이(Gemini) 등의 AI 도구를 기본 설정(자동 모델 선택)으로 사용할 경우, 실제 데이터를 분석하는 대신 학습 과정에서 내재된 편견과 고정관념에 기반해 거짓 결과를 생성하는 치명적인 문제가 발견되었습니다. 실험 결과, 동일한 텍스트 데이터에 국가명 라벨만 다르게 붙였을 뿐인데 AI가 국가별 특성을 전혀 다르게 요약하고 심지어 존재하지 않는 차이를 허위 수치로 제시했습니다. 데이터 분석 등 정확성이 요구되는 작업에서는 기본 모델 대신 스스로 논리적 추론이 가능한 '추론(Reasoning) 모델'로 수동 전환할 수 있는 사용자의 도구 활용 능력이 필수적입니다.
사용자가 AI 모델을 테스트하기 위해 날짜를 물었는데, AI가 엉뚱하게 생일 축하 메시지를 건네고 곧이어 불쾌하고 어두운 내용(Dark)을 출력하는 현상이 발생했습니다. 최근 대화 중에 AI가 갑자기 무작위적이고 기괴한 답변을 내놓는 일이 잦아졌다는 지적입니다.
유명 벤처캐피탈리스트 마크 앤드리슨이 AI 프롬프트에 "환각을 일으키지 마라"고 지시해 기술적 무지를 드러내며 온라인에서 비판과 조롱을 받았습니다. 거대 언어 모델(LLM)의 환각 현상은 구조적 한계로, 프롬프트 지시만으로 해결될 수 없다는 점에서 산업계 지도자의 기술 이해도에 대한 우려를 낳았습니다. 이번 사건은 막대한 자본력으로 AI 산업을 주도하는 핵심 인물들의 실체와 심리적 상태를 엿볼 수 있는 계기가 되었습니다.
사용자가 ChatGPT의 이미지 생성 기능을 통해 특정 수학 기호를 시각화해 달라고 요청했으나, 전혀 상관없는 강아지 이미지가 출력되는 기현상을 겪었습니다. 프롬프트 엔지니어링을 전혀 하지 않았고 대화 맥락에 강아지에 대한 언급도 없었기 때문에, 이는 AI가 텍스트를 시각적 개념으로 매핑하는 과정에서 발생한 치명적인 추론 오류로 보입니다. 이러한 환각(Hallucination) 현상은 멀티모달 AI 모델의 여전히 불안정한 컨텍스트 이해 및 이미지 생성 능력을 시험하는 흥미로운 사례입니다.
챗GPT, 클로드, 제미나이 등 AI 챗봇이 예산 편성 등 개인 재무 관리에 유용하게 쓰이고 있지만, 여전히 환각 현상, 사용자 편향 맹목적 수용, 민감 정보 요구 등의 치명적인 한계가 존재합니다. AI는 공인된 재무 전문가를 대체할 수 없으며 재무 조언을 의존할 때는 반드시 이러한 한계를 인지하고 회의적인 접근이 필요합니다.
최첨단 AI가 수학 문제 등 복잡한 영역에서는 훌륭한 성과를 내지만, 세차장 질문이나 특정 장난 영상 같은 단순한 속임수에는 여전히 쉽게 넘어가는 현상에 대한 질문입니다. 이는 AI가 맥락과 상식을 완벽히 이해하지 못하는 현재 모델의 근본적인 한계(환각 현상 등)를 보여주는 중요한 사례입니다.
안드레이 카르파시(Andrej Karpathy)는 최신 AI 모델이 복잡한 코딩과 수학 문제를 완벽히 해결하면서도 단순한 일상적인 질문에는 엉뚱한 대답을 하는 현상에 대해 설명했습니다. 그 이유는 강화 학습을 통해 결과를 명확하게 검증할 수 있는 분야(코딩, 수학)에서는 AI의 발전이 압도적으로 빠르기 때문입니다. 이는 검증 가능성(Verifiability)이 향후 AI의 발전 속도와 자동화의 범위를 결정하는 핵심 요소임을 시사합니다.