LLM 훈련을 위한 새로운 접근 방법의 필요성
최근 AI 연구자 안드레이 카르파티(Andrej Karpathy)가 강화학습(Reinforcement Learning, RL)에 대한 자신의 회의적인 입장을 공개했습니다. 참고기사에 따르면, 그는 RL이 대규모 언어 모델(LLM) 훈련에 적합하지 않다고 주장하며, 현재 AI 커뮤니티 내에서 새로운 접근 방법을 모색하는 움직임이 늘어나고 있다고 합니다. 카르파티는 RL의 보상 함수가 신뢰하기 어렵고 쉽게 조작될 수 있으며, 지적 문제 해결 능력을 가르치기에 잘 맞지 않는다고 설명합니다. 이 같은 주장은 현재 ‘추론’ 모델이 강화학습에 크게 의존하고 있다는 점에서 주목할 만합니다.
현재 많은 AI 기업들은 강화학습을 확장 가능하고 새로운 작업에 적응 가능한 방법으로 보고 있습니다. 그러나 카르파티는 이 방식을 통해 진정한 돌파구를 찾기 위해서는 근본적으로 다른 학습 메커니즘이 필요하다고 강조합니다. 그는 인간이 학습하는 방식이 훨씬 더 강력하고 효율적이라며, 이러한 방법들이 아직 제대로 발명되고 확장되지 않았다고 지적합니다.
구체적 사례와 카르파티의 대안 제안
카르파티는 구체적으로 ‘시스템 프롬프트 학습’이라는 대안을 제시했습니다. 이는 모델의 가중치를 변경하는 것이 아니라 토큰과 문맥 수준에서 학습이 이루어지는 방식입니다. 그는 이를 인간의 수면 동안 뇌가 정보를 통합하고 저장하는 과정에 비유합니다. 또한, 대화형 환경을 통한 LLM 훈련의 가능성도 제시했습니다. 이러한 환경에서는 모델이 자신이 실제로 수행하는 행동에 기반하여 피드백을 받을 수 있습니다.
과거에는 인터넷 텍스트를 활용한 사전 훈련과 질의응답 데이터를 활용한 미세 조정이 이루어졌으나, 대화형 환경에서는 모델이 단순히 사람의 반응을 예측하는 데 그치지 않고, 실제로 결정을 내리고 그 결과를 테스트할 수 있습니다. 이를 통해 LLM은 더욱 자율적이고 경험 기반의 학습이 가능해질 것입니다.
💡카르파티는 2024년 8월에 강화학습이 LLM 훈련에 돌파구가 될 수 있다고 주장했으나, 이는 진정으로 객관적이고 측정 가능한 보상 함수에 의존해야 한다고 강조했습니다.
미래 AI 발전 방향과 산업적 기대
카르파티의 입장은 딥마인드(DeepMind)의 리처드 서튼(Richard Sutton)과 데이비드 실버(David Silver)의 견해와도 일치합니다. 이들은 미래의 고급 AI가 인간의 언어 또는 판단을 단순히 모방하는 것이 아니라, 경험과 독립적인 행동을 통해 더욱 강력하고 창의적이며 적응 가능해져야 한다고 주장합니다.
글로벌 AI 산업은 이러한 변화에 발맞춰 새로운 기술적 도전을 맞이하고 있습니다. 기업들은 더욱 다양한 환경에서 AI를 훈련하고 평가하기 위한 노력을 강화하고 있으며, 이는 AI 시스템이 실세계 문제를 해결하는 데 필요한 창의성과 적응력을 키우는 데 기여할 것입니다.
향후 전망 및 시사점
카르파티의 통찰은 향후 AI 발전 방향에 대한 중요한 시사점을 제공합니다. AI 개발자들은 보다 혁신적인 학습 방법을 모색해야 하며, 기업들은 이러한 변화를 수용하여 AI 시스템의 효율성과 창의성을 극대화해야 할 것입니다. 특히, 정부와 규제 기관은 이러한 기술 발전이 사회에 미치는 영향을 면밀히 검토하고, 필요시 적절한 규제와 지원 정책을 마련할 필요가 있습니다.
참고
Matthias Bastian, AI researcher Andrej Karpathy says he’s “bearish on reinforcement learning” for LLM training, the-decoder.com
About the Author
