1위를 차지한 초거대언어모델은 ‘HumanF-MarkrAI/COKAL-DPO-13b-v2’다. 사람과숲이 마커와 컨소시엄을 이뤄 공동개발했다. 글로벌 IT 기업 메타에서 오픈소스로 공개한 ‘라마2’를 파운데이션 모델로 삼아 자체적으로 수집, 가공한 데이터에 인스트럭트 파인 튜닝을 거쳐 개발했다.
이번 리더보드는 LLM의 한국어 성능을 겨뤄 순위를 매겼다. 50개 이상의 개인 및 조직에서 100개 이상의 LLM이 제출됐다. LLM에 대한 추론 능력, 상식 능력, 언어 이해력, 환각 방지 능력, 한국어 상식 생성 능력 등의 5가지 지표로 평가를 했다.
한윤기 미디어그룹 사람과숲 대표
사람과숲은 9월28일 1위를 한 이후 4주간 수차례 1위를 해왔으나 최근 주최 측에서 측정지표를 바꾸면서 2주간 1위를 하지 못하였다. 하지만 바뀐 기준에 적응하여 꾸준히 연구한 결과 LLM 리더보드 개최 최대 점수인 52.69를 기록했다.
이번 연구를 이끈 정철현 박사는 “이 LLM은 공공 행정 업무를 수행하는 챗봇을 위해 튜닝한 것이지만 종합 성능이 국내 1위 수준으로 더 다양한 용도로도 활용할 수 있다”고 소개했다. 한윤기 사람과숲 대표는 “향후 한국어 특화 LLM 리더보드가 좀 더 활성화 되어 한국어 AI의 기술 발전에 계속 기여하고, 특히 공공 행정 분야에서 가장 사랑받는 ‘한국형 챗GPT’를 만들어 나가겠다”고 포부를 밝혔다.
김재범 기자oldfield@donga.com 기자의 다른기사 더보기
