ICLR 2026 AI 연구 동향 정리: 기억·옵티마이저·중국의 부상

올해 ICLR 2026 논문 저자 국적 비율에서 중국이 43.7%로 1위를, 미국이 31.9%로 2위를 차지했다. 격차는 10%포인트가 넘는다. 딥시크, 큐원, GLM, Kimi, MiniMax, MiMo 같은 중국 오픈 웨이트(open-weight, 모델 가중치 파일을 공개해 누구나 내려받아 쓸 수 있게 하는 방식) 모델은 이미 미국 최상위 모델과의 격차를 좁혀 가는 중이다. 숫자 하나로도 지금 AI 연구의 무게중심이 어디로 쏠리는지 드러난다.

연구 지형이 흔들리는 이유 — 증류와 상장 리스크

이 격차 뒤에는 증류(Distillation, 성능 좋은 모델에 여러 질문을 던져 얻은 답을 데이터로 삼아 다른 모델을 가르치는 방법) 경쟁이 있다. 최근 성능 좋은 중국 AI 모델 다수가 클로드나 GPT, 제미나이를 증류해 학습됐다. 경쟁 관계인 오픈AI와 앤트로픽, 구글이 이례적으로 손을 잡고 대응에 나선 이유이기도 하다.

세계 각국에 페이퍼컴퍼니를 세우고 엔터프라이즈 계정으로 대량의 데이터를 뽑아내는 방식, 계정을 원가 이하로 유통하며 사용자의 입출력을 가로채 되파는 방식까지 등장했다. 이런 데이터 브로커 암시장을 완전히 막을 방법은 아직 없다는 관측이 많다. AI 산업 규모는 빠르게 커지는데 관련 규제는 그 속도를 못 따라가는 틈을 파고든 결과라는 분석도 나온다.

이런 오픈 웨이트 전략의 배경에는 우수한 인재에 대한 보상, 그리고 대기업 연구 조직을 홀대하지 않는 문화가 있다. 큐원 시리즈를 만든 알리바바나 영상 생성 AI 분야에서 최상위로 꼽히는 Seedance 2.0을 개발한 바이트댄스 같은 회사의 연구자들이 ICLR 2026 포스터 세션 곳곳에서 직접 논문을 발표한 것으로 전해진다.

이런 수단을 상장회사가 그대로 따라 하기는 어렵다. 감시가 강하고 위법 행위가 드러나면 주가가 바로 흔들린다. 마이크로소프트는 자사 클라우드에 GPT를 올려 두고도 자체 최상위 모델을 아직 완성하지 못했다. 구글마저 올해 들어서는 속도가 살짝 처졌다는 평가를 받는다. 반면 비상장 상태인 오픈AI와 앤트로픽은 훨씬 공격적으로 움직여 왔다. 앤트로픽조차 학습 데이터 수집 과정에서 위법 행위가 드러난 전례가 있으니 상장이냐 비상장이냐가 데이터 확보 방식의 선을 가른다는 뜻이다. 오픈AI는 지난 6월 IPO를 위한 신고서를 제출했지만 비상장으로 남아 있을 때 유리한 점이 있다는 여지를 남겼다.

실무자에게 이 지형이 왜 중요할까. 어떤 벤더의 모델을 선택하느냐가 곧 데이터 출처와 라이선스 리스크, 가격 경쟁력을 정하기 때문이다. 오픈 웨이트 모델이 늘수록 선택지는 넓어지지만 그 모델이 어디서 왔는지 따지는 습관도 같이 필요해진다. 성능 벤치마크 표 한 장만 보고 벤더를 고르면 데이터 확보 방식이나 상장 리스크, 그 뒤의 연구자 생태계 같은 배경을 놓친다.

에이전트는 왜 어제 배운 걸 잊을까

요즘 LLM은 선행성 기억상실증(anterograde amnesia, 특정 시점 이전의 기억은 유지하지만 그 이후로는 새로운 장기기억을 만들지 못하는 상태)을 하나씩 달고 있다. 학습 시점까지의 지식은 또렷하게 기억하지만 대화가 끝나면 그 대화에서 나눈 내용은 사라진다. 대화창 안에서만 기억이 유지되고 창을 벗어나면 초기화된다.

클로드나 GPT를 오래 쓰다 보면 이전 대화 내용을 기억하는 것처럼 느껴질 때가 있다. 착각이다. 모델 안에 기억이 새로 새겨진 게 아니라 중요한 내용을 메모장에 옮겨 적어 놓은 결과다. 새 대화가 시작되면 모델은 그 메모를 다시 읽고 답한다. 그러니 진짜 핵심은 이 메모장을 어떻게 관리하느냐다.

에이전트를 직접 운영해 본 사람이라면 이 메모장 관리가 얼마나 성패를 가르는지 안다. 긴 작업일수록 메모가 늘어나고 늘어난 메모는 다시 참고하기 버거워진다. 메모가 너무 길면 처리 속도와 비용이 같이 늘고 메모가 너무 짧으면 중요한 맥락이 빠진다. 이 균형을 어떻게 잡을지가 최근 연구의 핵심 질문으로 떠올랐다. 하루짜리 대화가 아니라 며칠에 걸친 작업을 맡기는 코딩 에이전트라면 이 문제는 더 절박해진다. 어제 겪은 실수를 오늘 또 반복하지 않으려면 결국 무엇을 남기고 무엇을 버릴지 정하는 규칙이 있어야 한다.

메모장을 고치는 두 가지 실험

칭화대와 바이트댄스 연구자들이 낸 MemAgent 논문은 메모장 길이를 1024 토큰 이하로 못 박는다. 새 정보가 들어오면 지울 것은 지우고 덧붙일 것은 덧붙이는 판단이 필요해진다. 이 판단 자체를 강화학습으로 가르쳤다. 최종 답이 맞았는지 틀렸는지에 따라 보상 1 또는 0을 주고 그 보상을 조금씩 읽고 메모한 전 과정에 되먹인다. 시험 범위를 한 번에 다 읽고 정리하는 대신 조금 읽고 정리하기를 반복하다가 마지막 시험 점수로 그 과정 전체를 평가받는 셈이다.

MemAgent가 메모장 크기를 다스리는 방법을 풀었다면 구글과 UIUC 연구자들의 ReasoningBank은 다른 질문을 던진다. 한 번 배운 교훈을 다른 작업에도 써먹을 수 있을까. 이 논문은 구체적 행동이 아니라 그 행동에서 뽑아낸 전략과 교훈을 적는다. 성공한 사례만이 아니라 실패한 사례까지 포함한다. 흥미로운 지점은 여기다. 기존 방법들은 실패 사례를 끼워 넣으면 오히려 성능이 나빠졌는데 ReasoningBank은 실패를 더할수록 더 좋아졌다.

오답노트가 정답노트보다 실력을 더 빨리 끌어올리는 이유와 닮았다. 잘 푼 문제만 모아 두면 자기가 어디서 자주 틀리는지 끝내 못 본다. ReasoningBank은 모델의 가중치를 다시 학습시키지 않는다. 대신 또 다른 LLM을 심사관으로 세워 메모장 내용만 계속 고쳐 나간다.

이렇게 쌓인 메모장은 닫힌 고리를 이룬다. 새 과제가 들어오면 관련 교훈을 먼저 꺼내 읽고 일을 마치면 거기서 다시 새 교훈을 뽑아 메모장에 더한다. 이 과정을 반복할수록 에이전트는 조금씩 능숙해진다. 신기하게도 이 모든 과정에서 모델의 가중치는 단 한 번도 다시 학습되지 않는다.

에이전트 세션이 길어질수록 메모를 얼마나, 어떻게 압축할지 실무에서도 반복해서 부딪힌다. 에이전트 기억을 압축하는 문제를 실제로 다뤄 본 적이 있다면 MemAgent의 1024토큰 상한이나 ReasoningBank의 실패 포함 전략이 남 이야기로 안 들릴 것이다.

마이크로소프트가 내놓은 SkillOpt도 같은 방향이다. 에이전트가 참고하는 자연어 업무 지침, 즉 스킬 문서를 성공과 실패 기록에 맞춰 조금씩 고친다. 수정한 스킬을 검증 문제에 돌려 성능이 실제로 나아졌을 때만 그 수정을 받아들인다. ReasoningBank과 결이 비슷하다. 세 연구 모두 모델의 뇌, 즉 가중치는 그대로 둔 채 바깥의 메모나 문서만 계속 다듬는다는 공통점이 있다.

접근	메모 크기	갱신 방법	특징
무한 컨텍스트 누적	제한 없음	규칙 없이 계속 쌓기만 함	대화가 길어질수록 처리 비용과 지연이 같이 늘어난다
MemAgent	1024 토큰 이하로 고정	강화학습(Multi-Conv DAPO)으로 갱신 판단을 학습	정해진 크기 안에서 지우고 덧붙이는 균형을 스스로 익힌다
ReasoningBank	전략·교훈 단위로 압축	LLM 심사관이 성공·실패를 평가해 메모만 갱신(가중치 재학습 없음)	실패 사례를 더할수록 성능이 오히려 좋아진다

모델을 가르치는 방식도 새로 짜인다

메모장만 실무에 영향을 주는 건 아니다. 모델을 처음 훈련시키는 방식 자체도 흔들리고 있다. 그동안 최적화(optimization, AI 모델의 가중치를 조금씩 고쳐 똑똑하게 만드는 과정) 알고리즘은 Adam이 사실상 표준이었다. Muon이 등장하기 전까지는 바이블처럼 쓰였다는 말이 나올 정도였다. Adam은 파라미터 하나하나를 따로 보며 고친다. 사진 전체를 한 번에 보정하는 대신 픽셀 하나하나를 손보는 작업과 비슷하다.

Muon은 다르게 접근한다. 선형층의 gradient나 momentum 행렬 전체를 하나의 방향 있는 판으로 보고 직교화(orthogonalization, 행렬의 방향을 서로 겹치지 않게 반듯하게 정리하는 계산)한 방향으로 한 번에 업데이트한다. 픽셀이 아니라 사진 전체의 기울기와 구도를 잡아 가며 고치는 셈이다. ICLR 2026에 나온 한 논문은 이 차이가 왜 중요한지 트랜스포머의 기억 구조 관점에서 설명한다. LLM 안에서 중요한 기억이 담긴 가중치 부분을, Muon은 행렬의 방향 구조를 그대로 살려 갱신하기 때문에 Adam보다 더 곧은 방향으로 업데이트한다는 분석이다.

이론과 실제 사이의 간극도 메워졌다. Muon의 핵심은 momentum 행렬을 직교화하는 계산인데 정확히 하려면 SVD라는 비싼 계산을 거쳐야 한다. 실제 구현은 비용을 아끼려고 뉴턴-슐츠 반복(Newton–Schulz iteration, 정확한 계산 대신 근사로 빠르게 값에 다가가는 방법)이라는 근사법을 쓴다. 서울대 연구진은 유한 번의 근사만으로도 Muon이 수렴한다는 것을 처음으로 수학적으로 증명했다. 근사 오차가 빠르게 줄어들어 정확한 SVD를 쓴 이상적인 경우와 거의 같은 수렴률을 훨씬 낮은 계산 비용으로 얻는다는 결론이다.

이 흐름의 정점에 The Polar Express 논문이 있다. 5천 편이 넘는 ICLR 2026 전체 논문 가운데 가장 인상적인 세 편에 든 Honorable Mention 수상작이다. 뉴턴-슐츠 반복이 초기에 느리게 수렴하고 정확한 극분해(polar decomposition, 삐뚤어진 행렬을 방향이 깔끔한 행렬로 정리하는 계산)로 수렴하지 않는 문제를 보완한다. 행렬곱만 사용하면서 각 단계의 다항식을 최적으로 골라 더 빠르게 좋은 근사에 도달한다. GPT-2를 FineWeb 데이터로 학습한 실험에서 기존 방식보다 일관되게 나은 성능을 보였다. 큰 방향의 아이디어뿐 아니라 그 안의 세부 계산 방식을 얼마나 정교하게 다듬느냐에 따라서도 최적화 성능이 민감하게 갈릴 수 있다는 뜻이다.

왜 실무자가 이걸 신경 써야 할까. 학습 효율이 오르면 전기 요금이 줄고 작은 팀도 강력한 모델을 만들 여지가 생긴다. 최상위 실험실이 아니어도 실험과 배포를 더 자주 돌릴 여유가 생긴다. 옵티마이저 하나가 바뀌면 그 위에 올라가는 모든 서비스의 속도와 비용이 같이 움직인다. 번역이나 코딩, 영상 생성, 로봇 제어처럼 AI가 걸쳐 있는 서비스 전반이 이 학습 효율 하나로 개발 주기를 앞당길 수 있다.

실무자가 오늘 확인할 것

오픈 웨이트 모델과 증류 경쟁은 어떤 벤더를 쓸지 정하는 지형 자체를 바꾼다. 메모장 관리 방식은 에이전트가 하루를 넘어 계속 일할 수 있는지를 가른다. 옵티마이저 연구는 그 모든 것을 돌리는 비용을 낮춘다.

• 새 AI 도구를 고를 때 그 모델이 어느 데이터로 어떻게 학습됐는지 한 번은 따져 본다.
• 에이전트 세션이 길어지는 프로젝트라면 메모장 크기 제한과 갱신 규칙을 미리 정해 둔다.
• 실패 로그를 버리지 않는다. ReasoningBank의 결과가 보여주듯 실패 기록이 오히려 성능을 끌어올릴 수 있다.
• 학습·추론 비용이 부담스러우면 옵티마이저 선택지도 Adam 하나로 고정하지 않는다.
• 모델 하나의 벤치마크 순위보다 그 모델을 둘러싼 데이터 확보 방식과 연구 생태계까지 함께 확인한다.

세 갈래 모두 아직 현재진행형이고 결론이 난 이야기가 아니다. 증류를 완전히 막을 방법은 없고 메모장 갱신 규칙도 작업마다 다시 맞춰야 한다. Muon 계열 옵티마이저도 대규모 상용 서비스에 전면 도입된 사례는 아직 드물고 검증할 시간이 더 필요하다. 이 세 흐름이 실제 제품에 얼마나 빠르게 들어오는지 지켜보는 일이 남은 숙제다. 다음 학회 리포트가 나오면 저자 국적 비율과 오픈 웨이트 브랜드 목록, 메모장 실험, 옵티마이저 채택 사례가 어떻게 바뀌었는지부터 확인할 생각이다. 관련 실무 기록은 프로그래밍 카테고리에 계속 모아 둔다.