2023년 12월 30일, 서울 강남구 코엑스에서 열린 ‘독자 AI 파운데이션 모델’ 프로젝트의 1차 발표회에서 배경훈 부총리 겸 과학기술정보통신부 장관이 환영사를 전하며 시작된 이 행사에서, 스타트업 두 곳이 대기업을 제치고 주목받는 성과를 거두었다. 국가대표 인공지능(AI) 모델을 선발하는 독파모 프로젝트의 2차 평가에서, 모티프테크놀로지스와 업스테이지가 각각 1위와 2위를 차지하며 SK텔레콤과 LG AI연구원을 제쳤다는 소식이 전해졌다. 이는 AI 산업의 판도를 바꿀 만한 이변으로, 스타트업의 기술력이 대기업을 초월할 수 있음을 보여준다.
특히, 모티프테크놀로지스의 ‘모티프 3’는 글로벌 AI 성능 평가 지수인 아티피셜 애널리시스 인텔리전스 지수(AAII)에서 47점을 기록하며 1위를 차지했다. 그 뒤를 업스테이지의 ‘솔라 오픈2’가 37점으로 따랐고, SK텔레콤과 LG AI연구원은 각각 35점과 31점으로 뒤떨어졌다. LG AI연구원은 지난해 12월 1차 평가에서 1위에 오른 바 있어 이번 결과는 더욱 주목을 받고 있다.
하지만 이번 AAII 점수가 독파모 2차 평가의 최종 결과를 그대로 반영하는 것은 아니며, 평가의 일부에 불과하다. AAII는 총 100점 만점 중 40점을 차지하고 있으며, 이 중 25점은 AAII, 15점은 한국지능정보사회진흥원(NIA) 벤치마크 평가로 배정된다. 나머지 평가는 전문가와 사용자 평가를 통해 진행된다. AAII는 여러 영역의 개별 벤치마크 점수를 종합하여 하나의 수치로 환산하는 방식으로, 특정 벤치마크의 교체에 따라 점수 변동이 클 수 있다.
특히 AAII가 한국어 성능을 반영하지 않는 점은 평가의 한계로 지적되고 있다. 한국어를 포함한 다국어 이해 능력이나 특정 산업 과업에서의 성능을 평가하기에는 부족함이 있다는 지적이 제기되고 있다. AI 업계에서는 ‘벤치맥싱’이라는 용어가 등장하며, 벤치마크 점수에 대한 신뢰성 논란이 이어지고 있다. 이는 특정 항목에 집중하여 실제 성능과 무관하게 점수를 올리는 행위를 지칭한다.
이러한 가운데, 정부는 전문가 평가와 사용자 평가를 통해 벤치마크의 한계를 보완할 것이라는 입장을 밝히고 있다. 독파모 2차 평가의 최종 결과는 조만간 발표될 예정이며, 4개 참여사 중 3팀이 다음 단계로 진출할 수 있을 것으로 기대된다. 이번 평가 결과는 한국 AI 산업의 미래를 가늠할 중요한 지표가 될 것이다.
[관련기사] https://n.news.naver.com/mnews/article/001/0016248711?sid=105
답글 남기기