AI 소형화 경쟁, 적은 수의 단어를 학습시키면 더 인간적이다

인공지능(AI)은 전 세계적으로 큰 파장을 일으키며 더 스마트하고 컴팩트한 모델을 향한 국제적인 질주를 촉발하고 있습니다. AI 언어 모델이 급증함에 따라 더 큰 시스템을 개발하는 경향이 있지만, 진정으로 인간과 같은 AI의 핵심은 더 작게 만드는 데 있을까요?

 

더 작은 AI의 힘 수용하기

ChatGPT 및 Bard와 같은 유명한 AI 챗봇은 더 많은 데이터를 수집하면서 지속적으로 진화하고 있으며, 이는 기술 업계에 널리 퍼져 있는 '클수록 좋다'는 믿음을 강조합니다. AI가 선별한 팟캐스트부터 기사를 간결하게 요약하는 앱에 이르기까지 새로운 발전이 우리의 디지털 환경을 매일 변화시키고 있습니다.

 

그러나 더 크고 강력한 AI를 추구할수록 고유한 과제가 발생합니다. 특히 막대한 컴퓨팅 리소스가 필요한데, 이러한 리소스는 Google, Meta, OpenAI, Microsoft와 같은 소수의 거대 기술 기업만이 활용할 수 있습니다. 따라서 이러한 힘의 집중은 AI 기술에 대한 독점적 통제에 대한 타당한 우려를 불러일으킵니다.

 

게다가 대규모 언어 모델은 종종 해독할 수 없는 '블랙박스'와 비슷해 이해와 제어를 복잡하게 만듭니다. 복잡한 작동 방식은 개발자에게도 수수께끼로 남아 있어 AI가 잠재적으로 인간의 목표에서 벗어날 수 있다는 불안감을 불러일으킵니다. 대형 AI의 영역으로 더 깊이 들어가면 더 큰 능력은 종종 불투명성과 배타성을 증가시킨다는 상충 관계가 분명해집니다.

 

판을 바꾸다 BabyLM의 도전

언어 이해에 특화된 AI 분야인 자연어 처리(NLP)를 연구하는 한 젊은 학자 그룹이 1월에 도발적인 반박을 제안했습니다. 이들은 연구자들에게 최첨단 대규모 언어 모델에서 사용하는 데이터 세트의 일부(1만 분의 1 미만)에 불과한 데이터 세트를 사용하여 기능적 언어 모델을 고안할 것을 요청했습니다. BabyLM 챌린지라고 알려진 이 흥미로운 시도는 더 작고, 더 인간 친화적이며, 광범위하게 액세스할 수 있는 동등한 성능의 축소형 모델을 만드는 것을 목표로 합니다.

 

"우리는 혁신가들이 효율성을 우선시하여 보다 광범위하게 적용할 수 있는 시스템을 만들도록 장려하고 있습니다."라고 존스 홉킨스 대학의 컴퓨터 과학자이자 BabyLM의 주최자인 Aaron Mueller는 설명합니다.

 

AI 챗봇 새로운 선봉장

디지털 영역은 새로운 세대의 AI 기반 챗봇으로 가득 차 있습니다. 복잡한 쿼리에 응답하고 시를 창작하는 데 능숙한 것으로 알려진 OpenAI의 ChatGPT부터 광범위한 텍스트 대화를 제공하는 Microsoft의 Bing 챗봇까지, AI는 우리의 온라인 상호 작용을 재편하고 있습니다.

 

이메일과 블로그 게시물 초안을 작성하는 창의적인 능력을 갖춘 Google의 Bard와 아직은 미약하지만 중국의 Baidu의 어니도 이러한 혁신의 일부입니다. 이러한 첨단 챗봇의 등장은 인터넷의 경제 역학관계가 재편될 수 있다는 신호이며, 기존의 강자들은 도태되고 새로운 기업들이 두각을 나타낼 가능성이 있습니다.

 

취리히 연방 공과대학교의 컴퓨터 과학자이자 프로젝트의 또 다른 기획자인 알렉스 워스타트는 "이 도전은 '모델을 얼마나 크게 만들 수 있을까'라는 담론에서 인간의 언어 학습에 대한 탐구로 방향을 전환하는 것"이라고 강조합니다.

 

언어 학습의 수수께끼 풀기

AI 개발의 핵심은 주어진 문장에서 다음 단어를 예측하는 언어 모델이 인간의 언어 습득을 이해하는 데 어떻게 도움이 될 수 있는지에 대한 질문입니다. 이러한 모델은 성적표, 웹사이트, 책과 같은 방대한 소스에서 학습하고 컨텍스트가 추가될 때마다 성능이 향상됩니다.

 

그러나 인간은 신체, 사회생활, 감각적 경험을 가지고 있기 때문에 AI의 학습 과정은 인간의 학습과 극명한 대조를 이룹니다. 수많은 문자로 학습된 AI 모델은 인간의 언어 메커니즘에 대한 인사이트를 제한적으로 제공할 수 있습니다.

 

한 가지 가능한 해결책은 언어 모델을 어린 인간이 일반적으로 접하는 단어에만 노출시키는 것입니다. 이렇게 하면 모델이 인간의 능력에 더 가까운 언어 상호작용을 반영하여 언어 과정에 대한 인사이트를 얻을 수 있습니다.

 

이를 염두에 두고 뮬러와 워스타트, 그리고 동료들은 BabyLM 챌린지를 시작했습니다. 이들은 언어 모델을 13세 인간이 접하는 것과 같은 양인 약 1억 개의 단어를 학습시켜 인간의 언어 학습을 더 잘 이해할 수 있도록 안내하는 것을 목표로 합니다.

 

컴팩트 AI의 약속

운영 요구사항이 높은 대규모 AI 모델은 많은 연구자들이 접근하기 어려워 이 분야의 민주적 결핍을 야기합니다. BabyLM 챌린지는 이러한 거대한 언어 모델 경쟁에서 벗어나 보다 포용적이고 직관적인 AI로 의도적으로 전환하는 것을 의미합니다.

 

이러한 접근 방식의 잠재력을 인식한 구글과 메타 같은 거대 기업들은 인간의 인지 구조에 기반한 효율적인 언어 모델을 위한 연구에 투자하고 있습니다. 성공적인 BabyLM은 실제로 아직 개발되지 않은 상업적 잠재력을 가지고 있을지도 모릅니다. 그러나 이 도전의 원동력은 학문적 탐구에 대한 헌신과 내재된 지적 호기심입니다.

 

결국, 윌콕스 박사의 말처럼 보상은 단순히 실용적인 것만이 아닙니다. "바로 자부심입니다."라고 그는 말합니다.