미국 - 이크바리 뉴스 통신사
AI 시험 '인류의 마지막 시험': 일반 인공지능이 다가오고 있는가?
인공지능 안전 센터(Center for AI Safety)와 Scale AI의 연구원들은 인공지능 추론 능력의 한계를 탐구하기 위해 설계된 엄격한 박사급 벤치마크인 '인류의 마지막 시험'(Humanity's Last Exam, HLE)을 발표했습니다. 100개 이상의 주제 영역에 걸쳐 2,500개의 질문으로 구성된 이 포괄적인 평가는 가장 발전된 AI 모델이 인간 수준의 전문성에 얼마나 근접하는지, 특히 박사 수준에서 측정하는 것을 목표로 합니다. 이 계획이 일반 인공지능(AGI)을 향한 발전에 대한 논의를 촉발하는 가운데, 전문가들은 현재의 성능 지표를 이 복잡한 이정표 달성의 확실한 증거로 해석하는 것을 강력히 삼가도록 권고합니다.
HLE 테스트 프레임워크는 2025년 1월에 공식적으로 시작되었으며, 기본 방법론과 설계 논리는 1월 28일에 발표된 연구에서 자세히 설명되었습니다. 질문은 50개국 500개 기관을 대표하는 각 분야의 1000명 이상의 전문가들의 의견을 종합하여 선정되었으며, 이는 광범위하고 깊이 있는 지식 기반을 보장합니다. 시험은 객관식과 단답형 형식을 모두 포함합니다. 중요한 것은 각 질문이 명확하고 쉽게 검증 가능한 해결책을 갖도록 설계되었으며, 이는 단순한 인터넷 검색으로 신속하게 해결될 수 없어, 단순한 데이터 접근보다는 실제 이해력과 추론 능력을 테스트한다는 것입니다.
Read Also
벤치마크 출시 시점의 초기 테스트에는 OpenAI의 GPT-4o 및 o1, Google의 Gemini 1.5 Pro, Anthropic의 Claude 3.5 Sonnet, DeepSeek R1을 포함한 저명한 AI 모델들이 포함되었습니다. OpenAI의 o1 모델은 초기 그룹에서 8.3%라는 가장 높은 점수를 기록했습니다. 이 초기 성능에 대해 연구원들은 당시 "AI 개발의 빠른 속도를 고려할 때, 2025년 말까지 모델들이 HLE에서 50% 이상의 정확도를 초과할 가능성이 있다"고 언급했습니다. 이 예측은 AI 능력의 예상되는 빠른 발전을 강조했습니다.
2026년 2월 12일 현재, HLE에서 기록된 가장 높은 점수는 48.4%이며, 이는 Google의 Gemini 3 Deep Think 모델이 달성한 것입니다. 이와 대조적으로, 인간 전문가는 일반적으로 각자의 분야에서 약 90%의 점수를 얻습니다. 이 상당한 격차는 AI가 인간의 인지와 전문성의 폭과 깊이를 맞추는 데 직면한 엄청난 도전을 강조합니다.
"인류의 마지막 시험"의 설계는 의도적으로 극도의 난이도를 위해 만들어졌습니다. 개발 과정에서 연구원들은 다양한 학문 분야의 전문가들로부터 질문을 받기 위한 전 세계적인 요청을 했습니다. 질문이 정확하고, 명확하며, 해결 가능하고, 단순한 웹 검색에 저항력이 있도록 엄격한 제출 기준이 적용되었습니다. 목표는 AI 모델이 쉽게 구할 수 있는 온라인 답변에 접근하여 "속임수"를 쓰는 것을 방지하는 것이었으며, 이는 점수를 부풀리고 실제 이해를 왜곡할 수 있습니다. 제출된 각 질문은 AI 모델에서 테스트되었으며, 모델이 올바르게 답한 질문은 자동으로 거부되었습니다. 70,000개 이상의 제출 시도 중에서 약 13,000개의 질문이 대규모 언어 모델(LLM)을 성공적으로 혼란에 빠뜨렸습니다. 그런 다음 이 질문들은 전문가들에 의해 세심하게 검토되었고, 연구팀에 의해 승인되었으며, 커뮤니티 피드백을 위해 공개되었습니다. 최종적으로 2,500개의 질문으로 구성된 코퍼스가 확립되었으며, 이는 박사 수준의 도전을 나타냅니다.
시험의 범위는 방대하며 다양한 분야를 포괄합니다. 예를 들어, 상식 퀴즈 질문은 "그리스 신화에서 제이슨의 외할아버지는 누구인가?"일 수 있습니다. 물리 질문은 강성 막대에 연결된 마찰 없는 수평 레일 위의 블록에 대한 복잡한 힘의 역학을 계산하는 것을 포함할 수 있습니다. 이러한 광범위한 특성은 HLE를 다른 AI 평가 도구와 구별합니다.
Massive Multitask Language Understanding(MMLU) 데이터셋과 같은 기존 벤치마크는 종종 코딩 및 수학과 같은 더 좁은 도메인에 초점을 맞추며, 고급 추론의 전체 스펙트럼을 포착하지 못할 수 있습니다. Francois Chollet의 ARC-AGI 스위트와 같은 최첨단 벤치마크조차도 HLE 제작자들이 명시적으로 해결하고자 했던 기억 및 검색 능력 문제에 대한 취약성으로 비판받아 왔습니다. 예를 들어, Gemini의 Deep Think는 ARC-AGI-2 벤치마크에서 84.6%를 달성했으며, 이는 일주일 전 HLE 테스트에서 50%를 넘어서는 데 어려움을 겪었던 것과 극명한 대조를 이룹니다.
Related News
"인류의 마지막 시험"은 현대 AI 모델의 광범위한 능력을 인간 전문가와 비교하여 평가하는 데 있어 중요한 발전을 나타내지만, 연구 저자들은 단호합니다. HLE에서 높은 점수를 얻는 것이 AGI의 도래와 동일하지는 않습니다. 과학자들은 연구에서 "HLE에서의 높은 정확도는 폐쇄형, 검증 가능한 질문과 최첨단 과학 지식에 대한 전문가 수준의 성능을 입증할 것이지만, 그것만으로는 자율적인 연구 능력이나 일반 인공지능을 시사하지는 않을 것"이라고 말했습니다. 델라웨어 대학교의 신경 과학자이자 HLE 기여자 중 한 명인 Manuel Schottdorf는 "HLE에서 좋은 성적을 거두는 것은 기계가 진정한 지능에 도달했다고 말하기 위한 필요조건이지만 충분조건은 아니다. 그들은 이러한 질문을 해결할 만큼 충분히 좋아야 하지만, 그 사실만으로는 기계가 진정으로 지능적이라고 결론 내릴 수 없다"고 덧붙였습니다.
