2024.01.16
거대 언어 모델, LLM ʟᴀʀɢᴇ ʟᴀɴɢuᴀɢᴇ ᴍᴏᴅᴇʟ?
방대한 데이터를 바탕으로 인간의 언어를 이해하고 생성하도록 훈련된 인공지능입니다. 대표적인 모델로는 GPT, LLama2 등이 있으며, 기계 번역, 텍스트 요약, 자동 작문, 질문 응답 등 다양한 자연어 과제에 활용됩니다. LLM 시장의 규모는 2022년 105억 달러(약 13조원)에서 2029년에 408억 달러(약 53조원)까지 이를 예정입니다. 그러나 모델 파라미터수의 증가에 따른 GPU 리소스 비용의 문제로 LLM 연구의 장벽이 더 높아졌습니다.
💬 LLM 모델 파인튜닝의 문제점
- GPU 메모리 문제
모델 파라미터수가 대폭 증가하면서, 많은 GPU 리소스가 필요해져, 시판 GPU 로 모델 전체를 파인튜닝 하는 것이 불가능
- 시간·비용 문제
억단위의 파라미터 수를 가진 모델을 학습하고 데이터의 양이 늘어남에 따라, 긴 학습 시간과 GPU 리소스 비용이 소모됨
🤔 LLM 개발 비용을 줄이는 PEFT 방법론?
Llama, Alpaca, Vicuna 등 대규모 범용 오픈소스 LLM모델을 각 기업, 연구소에 맞는 커스텀 모델로 만들기 위해서는 모델을 미세조정 하는 ‘파인튜닝(Fine Tuning)’ 과정이 필요합니다. 성능을 높이고 학습시간을 줄인다는 장점에도 불구하고, LLM 모델은 파인튜닝 과정에서 발생하는 고질적인 문제로 인해 개선이 필요했습니다.
✨ PEFT의 4가지 방법론
문제점을 해결하기 위해 새로운 방법론이 개발되었습니다. PEFT(Parameter Efficient Fine Tuning) 방법론은 적은 수의 파라미터를 학습하면서도 전체 모델을 파인튜닝하는 것과 유사한 성능을 제공합니다.
1. Prompt tuning
구글이 발표한 가장 간단한 방법으로, 입력값(Input)인 프롬프트 작성에 초점을 두어 사전학습된 모델 파라미터 값은 유지한 채 프롬프트 앞에 파라미터 값을 추가하는 방법입니다. PLM(Pre-trained Language Model) 의 많은 파라미터를 일일히 튜닝하지 않아도 더욱 명확하고 구체적인 결과값 도출 가능하다는 장점이 있습니다.
2. P-tuning
프롬프트 앞에 추가되는 파라미터값을 딥러닝 모델에 해당하는 Prompt Encoder로 찾는 방식. Prompt Encoder만을 모델 학습해서, TASK별로 최적의 프롬프트 값을 찾는 방법입니다. 언어모델 구조와 상관없이 적용 가능하며 큰 모델에서 효과적 TASK별로 추가된 파라미터값만 조정해주면 준수한 성능을 보인다는 장점이 있습니다.
3. Prefix tuning
기존의 파라미터의 변경 없이 Prefix(연속적 태스크 특화 벡터)를 프롬프트로 추가하여 특정 태스크마다 추가 파라미터만 튜닝하는 방법입니다. 각 태스크마다 모델을 만들어야하기 때문에 효율성이 떨어지지만, 메모리에 강점을 보여 초대형 언어모델 응용 연구에 활용 가치가 있습니다.
4.LoRA, 가장 인기있는 방법론.
마이크로소프트에서 개발한 방법으로 기존 PLM 모델에 병렬 형태로 Low Rank 행렬을 추가하여 학습하는 방법으로 기존의 파라미터를 수정하지 않고도 모델의 성능을 개선할 수 있습니다. 가장 안정적이고 효과적인 방식으로, 구현이 조금 까다롭지만 TASK 별로 안정적인 성능을 보여줍니다. 비교적 적은 파라미터 수를 가진 모델에 효과적이며, GPT-3 대비 파라미터 수를 10,000배, 메모리를 3배 줄였지만 더 높은 처리량으로 추론 대기 시간 없이 훨씬 더 좋은 성능을 보인다는 장점이 있습니다.
소규모 연구 인프라로도 효과적으로 학습하세요.
이제 대규모 서버실 없이 GPU 몇 개 만으로도, 맞춤 LLM 개발이 가능합니다.
PEFT 로 쉽게 튜닝하고, 대규모 서버실이 없는 연구 공간에서도
딥러닝 특화 GPU 서버로 쾌적하게 연구를 진행하세요.
www.baroai.com/Poseidon
#바로AI #바로에이아이 #baroai #ai서버 #스타트업 #AI회사 #IT회사 #IT #NVIDIA #엔비디아 #NVIDIA #인공지능 #CPU #GPU #Poseidon #포세이돈 #workstation #워크스테이션 #server #GPU서버 #서버 #서버실구축 #aiworkstation #AI #연구 #예산 #국가과제 #데이터 #인프라 #연구실 #사무실 #대학교 #A100 #H100 #A6000 #Ada6000 #RTX4090 #자연어 #자연어처리 #LLM #sLLM #Llama #Alpaca #Vicuna #Bard #ChatGPT #GPT #7B #13B #33B #65B #오픈소스
2024.01.16
💬 LLM 모델 파인튜닝의 문제점
모델 파라미터수가 대폭 증가하면서, 많은 GPU 리소스가 필요해져, 시판 GPU 로 모델 전체를 파인튜닝 하는 것이 불가능
억단위의 파라미터 수를 가진 모델을 학습하고 데이터의 양이 늘어남에 따라, 긴 학습 시간과 GPU 리소스 비용이 소모됨
🤔 LLM 개발 비용을 줄이는 PEFT 방법론?
Llama, Alpaca, Vicuna 등 대규모 범용 오픈소스 LLM모델을 각 기업, 연구소에 맞는 커스텀 모델로 만들기 위해서는 모델을 미세조정 하는 ‘파인튜닝(Fine Tuning)’ 과정이 필요합니다. 성능을 높이고 학습시간을 줄인다는 장점에도 불구하고, LLM 모델은 파인튜닝 과정에서 발생하는 고질적인 문제로 인해 개선이 필요했습니다.
✨ PEFT의 4가지 방법론
문제점을 해결하기 위해 새로운 방법론이 개발되었습니다. PEFT(Parameter Efficient Fine Tuning) 방법론은 적은 수의 파라미터를 학습하면서도 전체 모델을 파인튜닝하는 것과 유사한 성능을 제공합니다.
1. Prompt tuning
구글이 발표한 가장 간단한 방법으로, 입력값(Input)인 프롬프트 작성에 초점을 두어 사전학습된 모델 파라미터 값은 유지한 채 프롬프트 앞에 파라미터 값을 추가하는 방법입니다. PLM(Pre-trained Language Model) 의 많은 파라미터를 일일히 튜닝하지 않아도 더욱 명확하고 구체적인 결과값 도출 가능하다는 장점이 있습니다.
2. P-tuning
프롬프트 앞에 추가되는 파라미터값을 딥러닝 모델에 해당하는 Prompt Encoder로 찾는 방식. Prompt Encoder만을 모델 학습해서, TASK별로 최적의 프롬프트 값을 찾는 방법입니다. 언어모델 구조와 상관없이 적용 가능하며 큰 모델에서 효과적 TASK별로 추가된 파라미터값만 조정해주면 준수한 성능을 보인다는 장점이 있습니다.
3. Prefix tuning
기존의 파라미터의 변경 없이 Prefix(연속적 태스크 특화 벡터)를 프롬프트로 추가하여 특정 태스크마다 추가 파라미터만 튜닝하는 방법입니다. 각 태스크마다 모델을 만들어야하기 때문에 효율성이 떨어지지만, 메모리에 강점을 보여 초대형 언어모델 응용 연구에 활용 가치가 있습니다.
4.LoRA, 가장 인기있는 방법론.
마이크로소프트에서 개발한 방법으로 기존 PLM 모델에 병렬 형태로 Low Rank 행렬을 추가하여 학습하는 방법으로 기존의 파라미터를 수정하지 않고도 모델의 성능을 개선할 수 있습니다. 가장 안정적이고 효과적인 방식으로, 구현이 조금 까다롭지만 TASK 별로 안정적인 성능을 보여줍니다. 비교적 적은 파라미터 수를 가진 모델에 효과적이며, GPT-3 대비 파라미터 수를 10,000배, 메모리를 3배 줄였지만 더 높은 처리량으로 추론 대기 시간 없이 훨씬 더 좋은 성능을 보인다는 장점이 있습니다.
소규모 연구 인프라로도 효과적으로 학습하세요.
이제 대규모 서버실 없이 GPU 몇 개 만으로도, 맞춤 LLM 개발이 가능합니다.
PEFT 로 쉽게 튜닝하고, 대규모 서버실이 없는 연구 공간에서도
딥러닝 특화 GPU 서버로 쾌적하게 연구를 진행하세요.
www.baroai.com/Poseidon
#바로AI #바로에이아이 #baroai #ai서버 #스타트업 #AI회사 #IT회사 #IT #NVIDIA #엔비디아 #NVIDIA #인공지능 #CPU #GPU #Poseidon #포세이돈 #workstation #워크스테이션 #server #GPU서버 #서버 #서버실구축 #aiworkstation #AI #연구 #예산 #국가과제 #데이터 #인프라 #연구실 #사무실 #대학교 #A100 #H100 #A6000 #Ada6000 #RTX4090 #자연어 #자연어처리 #LLM #sLLM #Llama #Alpaca #Vicuna #Bard #ChatGPT #GPT #7B #13B #33B #65B #오픈소스