👋 똑똑한데 가격까지 착한 AI가 있다고?

#고성능 #저비용 #SLM #지식증류 #MoE

2025. 5. 19.

👋 AI의 성능이 상향 평준화되었어.
👋 반면 AI 모델 운용 비용은 줄어들었대.

👋 가성비 좋은 AI 모델을 만드는 비결도 알려줄게!

HAI! 내가 왔어

스탠퍼드대학교의 ‘인간중심 AI 연구소(Human-Centered AI, HAI)’는 매년 AI 산업의 동향을 종합적으로 분석하는 ‘AI Index’ 보고서를 발간하고 있어. 올해 공개한 보고서의 주요 시사점 중 하나는 AI의 효율이 높아지고 비용이 낮아졌다는 거야. 한마디로 가성비가 좋아진 거지. 오늘은 점점 발전하는 AI 연구개발 역량이 가져온 변화인 고성능 저비용 AI에 대해 알아볼게.

똑똑하고 실속 있는 AI가 많아지고 있어

• 전 세계적으로 AI의 성능은 점차 상향 평준화되는 추세야. AI의 성능은 ‘벤치마크’라는 일종의 평가도구로 측정해. 작문, 번역, 수학 문제 풀이 등 각 분야에 특화된 벤치마크에서 높은 점수를 받을수록 성능이 뛰어난 AI인 거지. 기존에는 MMLU, GSM8K, HumanEval 등의 벤치마크를 사용했는데, AI 모델들의 점수가 전반적으로 올라서 변별력이 없어졌다는 얘기가 나오고 있어.

• MMLU는 가장 보편적으로 쓰이는 벤치마크로 역사, 지리, 법률, 수학 등 광범위한 내용에 답해야 해서 높은 점수를 받기 어려운 벤치마크였다고 해. AI 열풍을 일으킨 오픈AI가 2022년 발표한 챗GPT 3.5도 67.5%라는 높지 않은 점수를 받았지. 그런데 오픈AI의 2024년 모델인 챗GPT-4 o1은 이 벤치마크에서 87%라는 점수를 받았어. GPT-4 o1과 비슷한 시기에 출시된 메타의 라마 3.1은 86.6%, 앤스로픽의 클로드 3.5 소네트는 88.7%로, 세 모델 모두 90%에 근접한 점수를 받았지. 기존의 벤치마크는 이제 최신 모델들이 손쉽게 해결할 수 있어, 모델 간 성능 차이를 가늠하는 기준으로서의 의미가 많이 줄어든 셈이야.

• 그래서 요즘은 △멀티모달 AI의 성능을 평가하는 MMMU, △고급 추론 능력을 평가하는 GPQA, △소프트웨어 개발 성능을 평가하는 SWE 등 새로운 벤치마크를 도입해 AI의 성능을 평가하고 있어. 이마저도 AI가 발전하는 속도가 과거보다 빨라져서 AI의 평균 점수가 계속해서 높아지고 있대. SWE에서 AI 시스템이 해결할 수 있었던 코딩 문제의 비율은 2023년 4.4%에 불과했지만, 2024년에는 71.1%로 급증한 것만 봐도 AI의 발전 속도를 가늠할 수 있지. 한마디로 AI 성능의 상향 평준화가 이루어진 거야.

• 성능 향상과 더불어 AI의 쿼리당 비용과 대형언어모델(LLM)의 추론 비용도 줄어들었대. 여기서 쿼리는 쉽게 말해 우리가 AI에 질문하는 작업, 즉 요청을 뜻해. 쿼리 비용은 한 번의 요청을 AI가 처리하는 데에 드는 비용인 거야. 추론은 쿼리보다 넓은 의미로, AI 모델이 학습한 내용을 데이터에 적용해 결과물을 도출하는 전 과정을 이르는 말이야. AI Index 2025에 따르면, 쿼리 비용은 2022년 백만 토큰당 20달러(GPT-3.5 수준)에서 2024년 0.07달러(구글 제미나이 1.5 Flash-8B)로 급감했대. AI가 엄청난 효율로 작업을 처리하게 된 거야.

비용은 줄이고 성능은 올리는 비결, SLM

• 맛있는데 살 안 찌는 음식처럼 똑똑한데 저렴하기까지 한 AI가 점점 많아지고 있다니! 보통 더 똑똑한 AI를 만들려면 방대한 학습 데이터, 수조 개 이상의 파라미터, 첨단 인프라가 필수라 높은 비용이 드는 게 당연했는데 말이야. 어떻게 적은 자원으로도 높은 성능을 낼 수 있는 AI 모델이 등장할 수 있는 걸까? 비결은 바로 선택과 집중에 있어.

• 소형언어모델(SLM)은 이런 관점에서 가장 주목받고 있는 AI야. 오픈AI의 챗GPT, 앤스로픽의 클로드, 구글의 제미나이는 대표적인 LLM으로, 수많은 데이터를 학습해 백과사전 같은 역할을 하고 있지. SLM은 이와 반대로 특정한 분야의 전문가 역할을 맡기에 적합한 AI 모델이야. 실제로 오픈AI의 SLM인 o1-mini는 처음부터 과학, 기술, 공학, 수학(STEM) 분야에 특화된 모델이지.

• SLM은 LLM에 비해 파라미터의 수가 적어. 파라미터는 AI의 신경망에서 연산을 담당하는 부분으로, 많으면 많을수록 AI가 글의 숨겨진 맥락을 이해하고 추론을 할 수 있는 능력이 커져. 하지만 파라미터가 많으면 연산 과정에서 많은 전력이 소모돼. 즉 AI의 운영 비용이 커지는 거야. LLM은 파라미터가 적은 만큼 전력을 적게 소모해서 AI 비용을 줄일 수 있는 거야.

• 글로벌 IT 리서치 기업 가트너(Gartner)에 따르면, 2027년에는 기업들이 LLM보다 특정 작업에 특화된 SLM을 3배 더 많이 사용할 거라고 해. 또 다른 가트너의 보고서는 장기적으로 SLM에 드는 비용이 LLM보다 적다는 분석도 내놓았지. SLM은 학습 데이터 투입과 추론 과정을 비교적 쉽게 관리할 수 있는 데다가, 운영과 유지 비용이 낮으니, 많은 기업이 SLM을 쓰는 건 어떻게 보면 자연스러운 일인 것 같아.

효율적인 학습으로 SLM의 성능을 높일 수 있어

• 이런 SLM을 낮은 비용으로 훈련하는 독특한 방법도 있어. 바로 ‘지식 증류’라는 학습 방법이야. SLM이 특정 분야에서는 LLM보다 더 최적화된 성능을 낼 수 있지만, 그 수준에 도달하려면 해당 분야의 데이터를 별도로 학습해야 해. 가트너가 SLM의 초기 도입 비용이 LLM보다 비싸다고 한 이유도 SLM의 전문성을 원하는 수준으로 끌어올리기 위해서는 그 분야에 특화된 데이터를 투입해야 하기 때문이야.

• 지식 증류는 동일한 질문을 LLM과 SLM에 던지고 LLM이 출력한 답변을 더 정확한 답변으로 간주한대. SLM 모델은 자신의 답변과 LLM의 답변 차이를 손실값으로 보고, 이 값을 줄이는 방향으로 답변을 최적화해 나간대. 이 과정을 거치면 SLM은 LLM과 비슷한 답변을 내놓을 수 있게 되는 거야. 그럼 그냥 LLM을 쓰면 되지 않을까 싶지만, 꼭 그렇진 않아. 특정 분야에서는 SLM이 지식 증류를 통해 LLM 못지않은 성능을 낼 수 있고, 이럴 땐 더 가볍고 저렴한 SLM을 선택하는 게 훨씬 효율적이지.

LLM도 비용 부담을 낮출 수 있어

• LLM의 비용을 줄이는 방법도 있어. 바로 MoE(Mixture of Experts) 구조를 활용해 AI를 운영하는 방식이야. 딥시크의 R1이 바로 이 방식을 채택해 비용을 줄였다고 해. MoE 구조는 LLM의 거대한 파라미터를 여러 ‘전문가(Experts)’ 그룹으로 나누고, 입력된 질문에 가장 적합한 일부 전문가만 선택적으로 활성화하는 방식이야. 덕분에 파라미터를 모두 연산하지 않아도 쿼리를 처리할 수 있어서, 연산 비용을 크게 줄일 수 있는 거지.

• AI가 미래의 핵심 산업으로 떠오르면서 우리 생활 전반에 AI가 스며드는 중이야. 고성능 저비용 AI의 등장 역시 신기하고 생소한 기술이었던 AI가 일상의 필수품으로 자리 잡는 과정인 것 같아. 국가 주도 AI, 오픈소스 AI, 고성능 저비용 AI는 앞으로 우리 삶에 어떤 변화를 불러올까? 또 앞으로 AI는 어떤 모습으로 바뀔까? HAI가 계속해서 전해줄게!

매 순간 쏟아지는 새로운 소식을 접하고, 업계에 대한 이해도를 높이는 만의 방법이 있어? 아마 많은 사람이 관심 있는 주제를 다룬 뉴스와 신문을 꾸준히 챙겨 보는 게 가장 좋다고 이야기할 것 같아. 오늘 소개할 AI 툴은 이슈 파악과 분석까지 한 번에 할 수 있는 뉴스 빅데이터 분석 서비스, <빅카인즈 AI>야.

| 신뢰할 수 있는 챗봇

한국언론진흥재단이 운영하는 빅카인즈는 각종 언론사에서 발행한 뉴스 데이터를 검색하고 분석할 수 있는 무료 서비스야. 최근 AI 기반 서비스로 전면 개편하면서 정보 검색과 분석의 편의성을 높였어. 새롭게 추가된 서비스인 빅카인즈 AI는 뉴스 기사를 기반으로 사용자의 질문에 답하는 생성형 AI야. 질문과 관련한 기사를 찾아서 나열하는 게 아니라 기사의 내용을 요약하고 정리한 답변을 제공해. 신뢰할 수 있는 정보를 활용해 인사이트를 도출할 수 있어서 업계 동향을 파악하는 보고서를 작성할 때 유용하게 쓸 수 있을 것 같아.

| AI가 분석한 오늘의 이슈

빅카인즈는 AI가 104개 언론사에서 수집한 1만여 건의 뉴스 기사를 분야별로 나누고 분석해서 가장 핫한 그날의 뉴스를 보여주는 ‘오늘의 이슈’ 서비스도 제공하고 있어. 핵심 현안을 AI가 요약해 주고, 각 현안의 관계도 분석을 요청하면 유형과 중요도에 따라 마인드맵 같은 단어의 관계도를 볼 수 있어. 그뿐만 아니라 주로 검색하는 키워드를 저장해두면 ‘나의 관심 뉴스’ 탭에서 관련 뉴스를 따로 볼 수 있어. 오늘 가장 중요한 소식부터 내가 알고 싶은 뉴스까지 한 번에 확인할 수 있으니 이제 포털 사이트에 일일이 검색하는 수고는 덜어도 되겠어!

이용해 보러 가기

오늘의 HAI는 어땠어?
좋았던 부분과 아쉬웠던 부분에 대해 의견을 남겨줘.

좋았어

아쉬워

한글과컴퓨터
hai@domo.co.kr
경기도 성남시 분당구 대왕판교로 644번길 49 한컴타워 10층

1566-5192
수신거부 Unsubscribe

한컴 AI 뉴스레터를 구독하고 이메일로 받아보세요

AI에 진심인 한컴이 AI 썰을 풀어줄게!

이전 뉴스레터

👋 요즘 학생들은 AI를 어떻게 쓰고 있을까?

2025. 5. 5.

다음 뉴스레터

이 뉴스레터가 마지막 뉴스레터입니다.

한컴 AI 뉴스레터

AI에 진심인 한컴이 AI 썰을 풀어줄게!