#확산 언어 모델

차세대 모델의 효율성 전쟁: 가중치 고정(Fixed Weight)과 데이터 효율성의 상관관계

Diffusion Language Models는 방대한 데이터를 학습하여 AR 모델보다 높은 데이터 효율성을 보일 수 있습니다. 이때 변분 EM 과정에서 특정 가중치를 고정하는 전략은 계산 비용을 통제하며 최적의 수렴을 이끌어냅니다.