(25 Oct 25)
Author
- Ling Team, Inclusion AI, ANT Group
(앤트그룹은 중국의 핀테크 회사로 알리바바 그룹의 계열사이다. 과거에는 알리페이라는 이름으로 알려졌으며 본사는 저장성 항저우시 시후구에 있다. 세계에서 가장 가치가 높은 핀테크 회사로서 1,500억 미국 달러의 평가액을 가진 세계에서 가장 가치 있는 유니콘 기업이다.)
Abstarct
- It features 1 trillion total parameters and activates approximately 50 billion
per token (1TA50B)
- Training such models at a trillion-parameter scale introduces unprecedented challenges, including train-inference misalignment, inefficiencies in rollout processing, and bottlenecks in the RL system. To address these, we pioneer three interconnected innovations:
- (1) IcePop stabilizes RL training via token-level discrepancy masking and clipping, resolving
instability from training-inference mismatches;
- (2) C3PO++ improves resource utilization for long rollouts under a token budget by dynamically partitioning them, thereby obtaining high time efficiency; and
- (3) ASystem, a high-performance RL framework designed to overcome the systemic bottlenecks that impede trillion-parameter model training. Ring-1T delivers breakthrough results across critical benchmarks: 93.4 on AIME-2025, 86.72 on HMMT-2025, 2088 on CodeForces, and 55.94 on ARC-AGI-1
Introduction
- IcePop
강화학습 과정에서 발생하는 심각한 학습-추론 불일치를 제거한다.
방법:
불일치가 과도한 토큰을 탐지
해당 토큰의 영향을 clipping
효과:
불안정한 업데이트를 제거
효율적인 학습은 유지
추론 속도 저하 없이 안정성 확보
2. C3PO++
롤아웃 단계의 병목 현상을 제거하기 위한 예산 기반 스케줄링 메커니즘이다.
기존 방식:
매우 긴 시퀀스를 한 번에 처리
문제:
계산 낭비 발생
C3PO++:
긴 시퀀스를 효율적으로 분할
배치 기반 continuation으로 재사용
결과:
계산량 감소
처리 효율 증가
3. ASystem
대규모 비동기 강화학습을 위한 고성능 RL 프레임워크이다.
주요 특징:
SingleController + SPMD(Single Program Multiple Data) 구조
완전 비동기 실행
다단계 마스킹 가속
효율적인 데이터 패킹 및 샤딩
Approach
2.3.2 IcePop: Discard All Noisy Gradient Updates
- https://ringtech.notion.site/icepop
- Double-sided calibration: We calibrate token-level gradients within a region defined by lower
and upper limits, well preserving the alignments between training and inference probabilities.
- Masking: We exclude tokens with excessive probability deviation from gradient computation,
constraining gradient updates in a stable region.
기존 RL 시스템은 보통
Training Engine
Inference Engine
을 분리하여 사용한다.
연구진은 이 구조가 확률 계산의 차이를 만들어 RL 학습을 불안정하게 만든다는 점을 발견하였다.
특히 MoE 모델에서는
Expert Routing
이 동적으로 결정되므로 이 문제가 더욱 심각하다.
Long-CoT 환경에서는 이러한 차이가 반복적으로 누적된다.
핵심 문제
학습 시 정책:
π
train
추론 시 정책:
π
infer
두 확률 분포의 차이가 반복될수록 증가한다.
이를 논문에서는
Compounding Probability Discrepancy
라고 부른다.
IcePop의 핵심 아이디어
GRPO를 개선한 방법으로,
불안정한 그래디언트 업데이트를 제거한다.
두 가지 기법을 사용한다.
- Double-sided Calibration
허용 구간
[α,β]
내에 있는 토큰만 사용한다.
논문 설정:
α = 0.5
β = 5
2. Masking
허용 범위를 벗어난 토큰은 그래디언트를 계산하지 않는다.
M(k)={
k
0
α≤k≤β
otherwise
즉,
너무 작은 확률비
너무 큰 확률비
모두 제거한다.
직관적 의미
기존 GRPO:
모든 토큰의 그래디언트를 사용
IcePop:
학습 엔진과 추론 엔진이 크게 불일치하는 토큰은 무시
결과:
RL 안정성 향상
MoE 학습 가능
추론 속도 영향 없음
(25 Oct 25)
Author
(앤트그룹은 중국의 핀테크 회사로 알리바바 그룹의 계열사이다. 과거에는 알리페이라는 이름으로 알려졌으며 본사는 저장성 항저우시 시후구에 있다. 세계에서 가장 가치가 높은 핀테크 회사로서 1,500억 미국 달러의 평가액을 가진 세계에서 가장 가치 있는 유니콘 기업이다.)
Abstarct
per token (1TA50B)
instability from training-inference mismatches;
Introduction
강화학습 과정에서 발생하는 심각한 학습-추론 불일치를 제거한다.
방법:
불일치가 과도한 토큰을 탐지
해당 토큰의 영향을 clipping
효과:
불안정한 업데이트를 제거
효율적인 학습은 유지
추론 속도 저하 없이 안정성 확보
2. C3PO++
롤아웃 단계의 병목 현상을 제거하기 위한 예산 기반 스케줄링 메커니즘이다.
기존 방식:
매우 긴 시퀀스를 한 번에 처리
문제:
계산 낭비 발생
C3PO++:
긴 시퀀스를 효율적으로 분할
배치 기반 continuation으로 재사용
결과:
계산량 감소
처리 효율 증가
3. ASystem
대규모 비동기 강화학습을 위한 고성능 RL 프레임워크이다.
주요 특징:
SingleController + SPMD(Single Program Multiple Data) 구조
완전 비동기 실행
다단계 마스킹 가속
효율적인 데이터 패킹 및 샤딩
Approach
2.3.2 IcePop: Discard All Noisy Gradient Updates
and upper limits, well preserving the alignments between training and inference probabilities.
constraining gradient updates in a stable region.
기존 RL 시스템은 보통
Training Engine
Inference Engine
을 분리하여 사용한다.
연구진은 이 구조가 확률 계산의 차이를 만들어 RL 학습을 불안정하게 만든다는 점을 발견하였다.
특히 MoE 모델에서는
Expert Routing
이 동적으로 결정되므로 이 문제가 더욱 심각하다.
Long-CoT 환경에서는 이러한 차이가 반복적으로 누적된다.
핵심 문제
학습 시 정책:
π
train
추론 시 정책:
π
infer
두 확률 분포의 차이가 반복될수록 증가한다.
이를 논문에서는
Compounding Probability Discrepancy
라고 부른다.
IcePop의 핵심 아이디어
GRPO를 개선한 방법으로,
불안정한 그래디언트 업데이트를 제거한다.
두 가지 기법을 사용한다.
허용 구간
[α,β]
내에 있는 토큰만 사용한다.
논문 설정:
α = 0.5
β = 5
2. Masking
허용 범위를 벗어난 토큰은 그래디언트를 계산하지 않는다.
M(k)={
k
0
α≤k≤β
otherwise
즉,
너무 작은 확률비
너무 큰 확률비
모두 제거한다.
직관적 의미
기존 GRPO:
모든 토큰의 그래디언트를 사용
IcePop:
학습 엔진과 추론 엔진이 크게 불일치하는 토큰은 무시
결과:
RL 안정성 향상
MoE 학습 가능
추론 속도 영향 없음