👋 소소(小小)익선, 작은 AI의 등장

2024. 11. 18.

HAI! 내가 왔어👋

연말이 점차 다가오면서 한 해를 돌이켜보게 되는 요즘이야. HAI는 2024년 기억에 남는 순간 중 하나로 노벨상 수상 소식을 꼽고 싶어. 올해 노벨상은 예상 밖의 인물이 받으면서 파격적이라는 평가가 쏟아졌지? 특히 우리나라 작가 최초로 소설가 한강이 노벨문학상을 수상하면서 그동안 집필해 온 시와 소설의 작품성을 전 세계에 인정받았어.

노벨상의 파격적인 행보는 여기서 그치지 않아. 바로 노벨물리학상과 화학상을 AI와 관련된 인물이 수상했기 때문이야. 노벨물리학상은 AI의 아버지라고도 불리는 제프리 힌턴과 존 홉필드 교수가 수상했어. 스웨덴 왕립학술원은 두 과학자가 물리학을 활용하여 AI 머신 러닝의 기초를 다진 것을 수상 이유로 밝혔어.

왼쪽 위부터 시계 방향으로 제프리 힌턴, 존 홉필드, 데미스 허사비스, 존 점퍼, 데이비드 베이커.

출처는 The Novel Prize.

또 노벨화학상은 복잡한 단백질 코드를 해독하고 새로운 단백질을 설계하는 데에 성공한 데이비드 베이커와 존 점퍼, 데미스 허사비스에게 돌아갔어. 베이커는 노벨상 수상 후 한 인터뷰에서 고품질 데이터의 중요성에 대해 강조했어. 자신의 연구가 성공할 수 있었던 이유도 '데이터 뱅크'라는 고품질의 단백질 데이터를 학습한 AI를 활용했기 때문이라고 밝혔지. 하지만 이런 대량의 고품질 데이터로 학습한 AI는 매우 드물다며 아쉬워하기도 했어.

• 우리 주변에는 이미 다양한 거대 AI가 있어. 오픈AI의 ChatGPT 시리즈, 구글의 제미나이, 네이버의 하이퍼클로바X가 대표적이야. 이 AI들은 LLM(Large Language Model)이라고 하는데, 우리말로 하면 '거대 언어 모델'로 매개변수(파라미터)가 1,000억 개 이상인 AI야.

GPT-1이 등장한 2018년부터 올해까지 AI 매개변수의 증가를 보여주는 그래프.
출처는 Our World in Data.

• AI의 매개변수는 우리 두뇌로 치면 뉴런 사이를 연결하는 시냅스와 비슷한 역할을 해. 우리 뇌는 시냅스가 많으면 많을수록 더 많은 정보를 받아들이고 처리할 수 있지. AI도 마찬가지로 매개변수가 많으면 많을수록 더 방대한 양의 데이터를 처리할 수 있어. 수많은 IT 기업에서 AI의 규모를 키우기 위해 노력했던 이유가 바로 AI의 매개변수가 커지면 AI가 더 똑똑해질 거라고 생각해서야.

• 하지만 AI 확장의 법칙이 여전히 유효한지 의문을 가지는 사람이 많아지고 있대. 그 이유는 LLM AI가 학습하는 데이터 세트에 있어. 많은 IT 기업이 AI의 폭발적인 성장을 위해 학습에 필요한 데이터 세트를 인터넷에서 가져오는데, 인터넷에 돌아다니는 정보 중에는 완전히 틀린 내용도 있고 개인의 편향된 주장을 담고 있는 내용도 있어. 그리고 이제는 AI가 생성한 정보도 섞여 있지. 이런 데이터는 AI 환각과 같은 성능 저하를 일으키는 주된 원인이 되고 있어. 실생활에서는 이런 오류가 큰 영향을 끼치지 않지만, 전문성이 요구되는 분야에서 데이터 세트의 낮은 품질로 인한 LLM의 성능 저하는 치명적이야.

• 이런 LLM의 약점을 보완할 수 있는 AI 모델이 바로 SLM(Small Language Model, 소형 언어 모델)또는 sLLM(smaller Large Language Model, 경량화 언어 모델)이야. SLM의 매개변수는 수십억 개로, 적은 숫자는 아니지만 LLM에 비하면 그 규모가 상당히 작은 편이야. 그렇지만 다다익선이라는 말이 있는데, LLM보다 한참 적은 매개변수로 SLM은 어떻게 LLM의 약점을 보완하면서도 좋은 성능을 낼 수 있다는 걸까?

마이크로소프트의 최신 SLM 모델과 기존 LLM 모델의 매개변수 크기와 성능을 비교한 차트.

출처는 MIT Technology Review.

• 그 정답은 SLM의 규모가 작다는 것, 그 자체에 있어. LLM에 비해 규모가 작으니, 사용자가 직접 AI의 추론 과정을 검토하고 관리하기 편하지. 그리고 AI 학습에 필요한 데이터를 직접 선별할 수 있어서 더욱 전문적인 분석과 답변을 얻을 수 있어. 또 유지관리에 자원이 적게 들어서 경제성과 효율성 측면에서 유리해.

• 지금까지 LLM은 AI를 만든 회사가 아니면 작동 체계를 이해하기 어려웠어. 그래서 AI를 사용하는 대부분의 회사가 IT 기업의 온라인 클라우드에 자사의 데이터를 업로드하는 형태로 AI를 이용해 왔대. AI 관리의 주도권이 IT 회사에 있었던 거야. 물론 관리는 더욱 전문적으로 할 수 있었지만, 민감한 회사 정보도 클라우드로 전송해야 했기에 보안에 관한 우려는 늘 있었어. 하지만 SLM은 클라우드에 연결하지 않거나 프라이빗 클라우드에 호스팅해서 사용할 수 있어서 이런 걱정을 덜어도 돼. AI를 사용하는 회사가 직접 AI를 관리하고 데이터 세트를 입력할 수 있어서 보안성과 전문성 측면에서 많은 기업의 주목을 받고 있지.

• 우리는 어디서 SLM을 찾을 수 있을까? 첫 번째는 오픈소스 AI야. 오픈소스는 원래 소프트웨어 분야에서 만든 개념으로, 소프트웨어를 구성하는 소스코드를 전부 공개하고 누구나 수정과 개발을 할 수 있게 한 거야. 그렇지만 AI는 소프트웨어와 달리 기업의 핵심기술, 저작권, 특수한 구동 환경 등의 문제로 모든 구성 요소를 공개하기 어려워. 그래서 아직 오픈소스 AI에 대한 정확한 정의를 내리기는 어렵지만 이미 많은 IT 기업이 개방된 형태의 AI 모델을 출시하고 있어.

오픈소스 AI 커뮤니티, 허깅페이스.

출처는 허깅페이스.

• SLM은 특히 규모가 작기 때문에 오픈소스로 공개하기 더 유리해. AI 업계의 후발주자로 불리는 메타는 거의 모든 AI 모델을 오픈소스로 공개하는 중이야. 메타가 공개한 AI인 라마 시리즈 중에는 SLM도 있는데, 이 모델을 기반으로 대학 연구진이 개발한 AI가 좋은 평가를 받고 있다고 해. 비교적 규모가 작은 대학 연구소가 성능 좋은 AI를 개발한 비결이 바로 SLM을 사용했기 때문이라는 사실! 실제로 여러 SLM이 오픈소스로 제공되고 있다고 하니 다양한 분야로 응용되길 기다리는 SLM을 만나보고 싶다면 허깅페이스와 같은 오픈소스 AI 사이트를 구경해 봐!

• SLM은 휴대용 전자기기에서도 만날 수 있어. SML이 LLM보다 구동하는 데에 드는 전기와 용량이 적다고 이야기했었지? 그렇기 때문에 SLM을 노트북이나 스마트폰에 무리 없이 장착할 수 있어. 이런 AI를 온디바이스 AI라고 해. 사용자의 기기 안에서만 작동하기 때문에 민감한 개인정보 보안에 유리하고, 온라인에 연결했을 때보다 빠르게 결과물을 만들 수 있대. 삼성은 일찌감치 온디바이스 AI를 탑재한 갤럭시 시리즈를 공개하면서 실시간 통번역과 같은 AI 기능을 사용할 때 개인적인 대화가 외부로 노출되지 않는다는 점을 강점으로 내세웠어. 애플 또한 아이패드와 맥북에서도 사용할 수 있는 '프라이빗 클라우드 컴퓨팅'이라는 보안 시스템이 적용된 온디바이스 AI를 출시했지. 어때? 생각보다 SLM이 우리 가까이에 있다니, 놀랍지 않아?

• 오픈AI가 서치GPT 기능을 출시했어. 서치GPT는 지금까지 원하는 정보를 찾기 위해 수많은 웹페이지를 열어봐야 했던 수고를 덜어주는 검색 서비스야. 궁금한 점을 문장으로 질문하면 지도, 이미지, 관련 링크 등 다양한 종류의 정보를 한 번에 보여줘. 또, 대화를 통해 구체적인 내용을 연속으로 물어볼 수도 있어. 오픈AI는 체험단 테스트가 끝나면 곧 무료 사용자들에게도 서비스를 제공할 예정이라고 해.

• 독일이 폐암 국가 진단에서 AI를 사용하고 있대. 흡연자를 대상으로 한 진단 과정에서 폐암 의심 징후가 발견되면 AI에게 영상 분석을 맡긴다는 거야. AI를 사용하면 전국적으로 일정한 검진 품질을 유지할 수 있고, 폭증하는 업무를 적절히 조율할 수 있대. 물론 AI 판독 결과를 전문가들이 충분히 검토하는 과정도 거친다고 해. 프랑스에서도 비슷한 시스템의 국가 폐암 검진을 시행하기로 하면서 의료 AI 관련 시장이 점차 커질 전망이야.

👋오늘 HAI가 들려준 AI 썰은 어땠어?

오늘은 클수록 좋다는 AI 업계의 상식을 뒤바꾼 소형언어모델, SLM과 sLLM을 만날 수 있는 방법을 알아보았어. LLM만의 장점도 분명히 있지만, 취약한 점을 보완하는 새로운 형태의 AI가 빠르게 발전하고, 또 실생활에서 만날 수 있는 걸 보니 앞으로 더 나아질 AI가 궁금하지 않아?