2023년 12월 30일, 서울 강남구 코엑스에서 개최된 독자 AI 파운데이션 모델(독파모) 프로젝트 1차 발표회에서 배경훈 부총리 겸 과학기술정보통신부 장관이 환영사를 전했습니다. 이 자리에서는 한국의 인공지능(AI) 기술 발전을 위해 국가대표 AI 모델을 선발하는 독파모 프로젝트의 중요성이 강조되었습니다. 2차 평가 결과에 따르면 스타트업들이 기존 대기업을 제치고 뛰어난 성과를 거두었다는 흥미로운 사실이 드러났습니다. 모티프테크놀로지스와 업스테이지가 각각 1위와 2위를 차지하며 글로벌 AI 성능 평가 지수에서 두각을 나타낸 반면, 1차 평가에서 1위를 기록했던 LG AI연구원은 최하위로 밀려났습니다.
이와 같은 결과는 AI 업계에 큰 파장을 일으키고 있습니다. 하지만 이번 평가에서 제시된 성능 지표는 전체 평가의 일부에 불과하며, 한국어 성능을 반영하지 않는 점도 논란의 여지가 있습니다. 따라서 이러한 결과를 독파모 모델의 실제 경쟁력으로 단정짓기에는 이른 감이 있습니다. 아티피셜 애널리시스(Artificial Analysis)가 발표한 아티피셜 애널리시스 인텔리전스 지수(AAII)에 따르면, 모티프테크놀로지스의 ‘모티프 3’가 47점으로 가장 높은 점수를 기록하였고, 이어서 업스테이지의 ‘솔라 오픈2’가 37점, SK텔레콤의 ‘에이닷엑스(A.X)-K2’가 35점, LG AI연구원의 ‘K-엑사원(EXAONE) 2.0’이 31점으로 나타났습니다.
특히 LG AI연구원이 지난해 12월 독파모 1차 평가에서 종합 33.6점으로 1위를 차지했던 점을 감안할 때, 이번 결과는 더욱 주목받고 있습니다. 그러나 AAII 점수는 독파모 2차 평가의 최종 결과를 바로 의미하지 않으며, 평가에서 벤치마크는 총 100점 만점 중 40점을 차지합니다. AAII 평가가 25점, 한국지능정보사회진흥원(NIA) 벤치마크 평가가 15점을 차지하고, 나머지 배점은 전문가 평가와 사용자 평가로 구성되어 있습니다. 이처럼 다양한 평가 요소가 존재하는 만큼, 단일 지표에 의존하기에는 한계가 따릅니다.
AAII는 지식, 추론, 코딩 등 여러 영역의 개별 벤치마크를 종합한 지수로, 모델의 전반적 지적 능력을 비교하는 데 유용하지만, 어떤 벤치마크를 묶느냐에 따라 점수가 달라질 수 있습니다. 모델 버전 업데이트 시 특정 분야가 누락되거나 주요 벤치마크가 교체되면 점수에 큰 변화가 생길 수 있습니다. 특히 한국어 벤치마크가 반영되지 않는 점은 큰 아쉬움으로 지적되고 있습니다. 이는 다국어 이해 능력이나 특정 산업에서의 성과를 측정하기에는 부족하다는 의견이 많습니다.
AI 업계에서는 벤치마크의 신뢰성에 대한 논란이 지속되고 있으며, 벤치마크를 통해 실제 성능과 무관하게 점수를 부풀리는 ‘벤치맥싱’이라는 용어가 사용되고 있습니다. 오픈AI 공동 창업자 출신의 안드레이 카파시 앤트로픽 AI 연구원은 지난해 연간 보고서에서 벤치마크에 대한 신뢰를 잃었다고 언급했습니다. 국내 AI 업계 관계자 역시 벤치마크 점수만으로 모델의 실제 성능을 판단하기 어렵다고 지적하고 있습니다. 이러한 문제를 해결하기 위해 정부는 전문가 평가와 사용자 평가를 병행하고 있으며, 벤치마크 과적합 문제를 보완할 것이라는 입장을 밝히고 있습니다.
정부는 독파모 2차 평가의 최종 결과를 조만간 발표할 예정이며, 평가에서 4개 참여사 중 3팀이 다음 단계로 진출할 수 있을 전망입니다. 이와 같은 결과가 한국 AI 산업의 미래에 어떤 영향을 미칠지 귀추가 주목됩니다.
[관련기사] https://n.news.naver.com/mnews/article/055/0001380382?sid=101
답글 남기기