Paper Review/LLM Fine-tuning

2022년에 ACL에서 발표된 UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning논문을 바탕으로 작성된 리뷰입니다. (Yuning Mao, Lambert Mathias, Rui Hou, Amjad Almahairi, Hao Ma, Jiawei Han, Wen-tau Yih and Madian Khabsa) Abstract최근 Parameter-efficient language model tuning(PELT)의 영향으로 적은 trainable parameter들로도, 특히 training data가 제한된 상황에서 좋은 성능을 낼 수 있게 되었다. 문제점 : PELT 방법이 다르다면 같은 task에 대해서도 다르게 적용되어..

2021년에 Microsoft가 발표한 ‘LoRA: Low-Rank Adaptation of Large Language Models’ 논문을 바탕으로 작성된 리뷰입니다.IntroductionLLM은 pre-trained 모델로부터 특정 downstream task에 adaptation 하기 위해서는 fine-tuning이 필요한데, 이는 일반적으로 LLM 모델의 모든 weight parameter들을 업데이트하는 과정이다. Fine-tuning의 가장 큰 난관 : 새로운 모델이 기존 모델만큼 많은 수의 parameter들을 가진다.Measuring the Intrinsic Dimension of Obejective Landscapes(2018)Intrinsic Dimensionality Explains ..