AI 챗봇, 실제 의료 질문에 어려움 겪으며 환자 안전 우려 증폭

글로벌 - 이크바리 뉴스 통신사

AI 챗봇, 실제 의료 질문에 어려움 겪으며 환자 안전 우려 증폭

최첨단 인공지능(AI) 챗봇은 통제된 환경에서 인상적인 능력을 발휘함에도 불구하고, 실제 인간 상호작용의 복잡성에 직면했을 때 정확하고 안전한 의료 조언을 제공하지 못하고 있습니다. 최근 네이처 메디슨(Nature Medicine)에 발표된 한 연구는 일반 사람들이 의료 지원을 위해 대규모 언어 모델(LLM)과 상호작용할 때 진단 정확도와 권장 조치에서 상당한 하락이 있음을 밝혀내며, 디지털 건강 애플리케이션의 중요한 환자 안전 문제를 강조합니다.

옥스퍼드 대학교 '기계와의 추론 연구소(Reasoning with Machines Lab)'의 수학자 아담 마흐디(Adam Mahdi)가 이끈 이 연구 결과는 AI의 실험실 성능과 실제 유용성 간의 극명한 대조를 보여줍니다. 통제된 실험실 테스트에서 GPT-4o, Command R+, Llama 3와 같은 고급 LLM은 95%의 정확도로 의료 문제를 식별하고, 의사 상담이나 응급 치료와 같은 적절한 조치를 56% 이상 권장하는 놀라운 능력을 보여주었습니다. 그러나 거의 1,300명의 연구 자원봉사자들이 대화식으로 의료 시나리오를 제시했을 때, 챗봇의 진단 정확도는 35% 미만으로, 올바른 조치를 제안하는 정확도는 약 44%로 급락했습니다. 이러한 성능은 실험실 결과보다 나빴을 뿐만 아니라, 참가자들이 40% 이상의 정확도를 달성했던 간단한 구글 검색보다도 떨어졌습니다.

마흐디는 이 문제가 연구가 수행된 2024년 말 최첨단이었던 AI 모델 내 의료 지식의 부족 때문이 아니라고 강조합니다. 그는 "AI는 의료 지식을 가지고 있지만, 사람들은 AI로부터 유용한 조언을 얻는 데 어려움을 겪는다"고 설명합니다. 핵심 문제는 인간-AI 상호작용에 있습니다. 사용자들은 종종 완전한 이야기를 제공하기보다는 정보를 조각조각 제공하며, 챗봇은 관련 없거나 부분적인 세부 정보에 쉽게 주의가 산만해질 수 있습니다. 이러한 의사소통 격차는 연구의 소름 끼치는 예시에서 보듯이 위험할 정도로 부정확한 조언으로 이어질 수 있습니다.

두 명의 자원봉사자가 지주막하 출혈(심각한 유형의 뇌졸중) 증상을 설명했습니다. 한 참가자가 "갑자기 최악의 두통이 생겼다"는 문구를 사용하자 GPT-4o는 즉시 의료 조치를 취하라고 정확하게 조언했습니다. 이와 대조적으로 "끔찍한 두통"을 설명한 다른 자원봉사자는 어둡고 조용한 방에서 휴식을 취하라는 권고를 받았는데, 이는 잠재적으로 치명적인 오진이었습니다. 미묘한 표현으로 인해 응답이 이처럼 극적으로 변하는 근본적인 이유는 AI의 "블랙박스 문제"의 한 형태로, 심지어 개발자조차 모델의 추론을 완전히 추적할 수 없기 때문에 불분명합니다.

이러한 발견은 환자 안전 조직의 광범위한 경고와도 일치합니다. 글로벌 비영리 단체 ECRI는 1월 21일 보고서에서 의료 분야에서 AI 챗봇 사용을 2026년 가장 중요한 건강 기술 위험으로 지목했습니다. ECRI의 우려 사항에는 AI 모델이 잘못된 진단을 자신 있게 제시하고, 신체 부위를 만들어내고, 위험할 수 있는 의료 제품이나 절차를 권장하며, 불필요한 검사나 치료를 조언하고, 편향된 결과물을 통해 건강 불평등을 악화시키는 것 등이 포함됩니다. 윤리적 함의는 AI가 치료사 역할을 하는 경우로까지 확장되며, 연구에서는 챗봇이 심각한 실수를 저지를 수 있음을 보여주었습니다.

이러한 중요한 한계에도 불구하고, AI의 의료 통합은 가속화되고 있습니다. ECRI의 장치 안전 담당 부사장 스콧 루카스(Scott Lucas)는 대부분의 의사들이 의료 기록을 전사하거나 검사 결과를 검토하는 것과 같은 작업에 이미 챗봇을 활용하고 있다고 언급합니다. 주요 AI 개발사들도 의료 분야에 진출하고 있으며, OpenAI는 ChatGPT for Healthcare를, Anthropic은 1월에 Claude for Healthcare를 출시했습니다. ChatGPT만 해도 매일 4천만 건 이상의 의료 관련 질문을 처리하는 것으로 보고되어, 대중이 이러한 도구에 크게 의존하고 있음을 보여줍니다.

루카스는 AI 챗봇의 매력을 인정합니다. "그들은 수십억 개의 데이터 포인트에 접근하여 데이터를 집계하고 소화 가능하고 신뢰할 수 있으며 설득력 있는 형식으로 제공하여, 거의 정확히 당신이 묻는 질문에 대한 정확한 조언을 자신감 있는 방식으로 제공할 수 있습니다." 그러나 그는 엄중한 경고를 합니다. "상업용 LLM은 주류 임상 사용에 준비되지 않았습니다. LLM의 출력에 전적으로 의존하는 것은 안전하지 않습니다."

이러한 의사소통 격차를 해소하려면 양측의 발전이 필요할 것입니다. 하버드 의과대학의 의료 AI 연구원 미셸 리(Michelle Li)는 이번 연구가 환자 치료에서 LLM의 안전성과 신뢰성에 대한 기계 학습 커뮤니티 내 오랜 우려를 확인시켜준다고 강조합니다. 그녀 자신의 연구는 2월 3일 네이처 메디슨에 발표되었으며, 다양한 의료 환경에서 신뢰성을 높이기 위한 AI 모델 훈련, 테스트 및 구현 개선을 제안합니다.

앞으로 마흐디는 다양한 언어와 시간 경과에 따른 AI 상호작용에 대한 추가 연구를 계획하고 있으며, 이를 통해 개발자들이 실제 사람들에게 정확하고 신뢰할 수 있는 답변을 제공할 수 있는 더 강력한 모델을 설계하는 데 필요한 통찰력을 제공하는 것을 목표로 합니다. 그는 근본적인 과제는 통제된 실험실 환경뿐만 아니라 인간 중심 시나리오에서 AI가 실제로 어떻게 수행되는지에 초점을 맞춰 "측정 문제를 해결하는 것"이라고 결론지었습니다. 그때까지 직접적인 환자 치료에서 AI의 약속은 환자 안전을 보장하기 위한 엄격한 개발과 명확한 지침을 요구하는 신중한 노력으로 남아 있습니다.

이크바리 뉴스 통신사