2024.01.10
거대 언어 모델, LLM ʟᴀʀɢᴇ ʟᴀɴɢuᴀɢᴇ ᴍᴏᴅᴇʟ?
방대한 데이터를 바탕으로 인간의 언어를 이해하고 생성하도록 훈련된 인공지능입니다. 대표적인 모델로는 GPT, LLama2 등이 있으며, 기계 번역, 텍스트 요약, 자동 작문, 질문 응답 등 다양한 자연어 과제에 활용됩니다. LLM 시장의 규모는 2022년 105억 달러(약 13조원)에서 2029년에 408억 달러(약 53조원)까지 이를 예정입니다.
🦙 LLM 연구에서 필수로 꼽히는 ‘Llama’ 를 들어 보셨나요?
Meta 에서 발표한 오픈소스 모델로서, 모델 코드와 Pre-trained 파라미터 값이 공개되었습니다. 라마2는 70억에서 650억 매개변수까지 다양한 크기로 제공됩니다. Open AI의 ChatGPT 를 기반으로 LLM 구축시 정보 유출의 우려가 있습니다. 그러나 오픈소스를 활용하면 ChatGPT 급 성능으로 LLM 을 구현할 수 있으며, 동시에 정보 유출의 위험도 줄일 수 있습니다.
* 1B 당 10억 개의 매개변수
✨ LLM 연구, 오픈소스를 활용해보세요.
📉 비용 절감 : ChatGPT 사용 비용에 비해 적은 파라미터수의 모델로 학습 비용 절감
↔️ 확장성 : 사용자의 필요에 따라 코드를 수정하거나 확장 및 커스터마이즈 가능
⛳ 적응성 : 시시각각 변하는 트렌드에 따라 변화된 기술을 빠르게 도입 및 신속한 환경 구축
Llama 기반 sLLM 모델들
Llama 모델이 출시된 후, 스탠포드 대학 등에서 이를 활용한 파생 모델을 공개하고 있습니다. 공개된 파생 모델들은 기존 LLM 모델들과 견줄만한 성능을 보이고 있으며, 이로 인해 LLM 연구분야에 활력을 불어넣고 있습니다.
Alpaca (7B)
600달러 만으로도 GPT-3.5(175B) 와 동급의 성능을 보였습니다.
Alphaca 는 Llama (7B), Llama (13B) 모델을 파인튜닝한 모델입니다. 학습에 사용된 데이터는 GPT-3.5 text-davinci-003 을 통해 생성한 데이터입니다. 8개의 A100 GPU (80GB) 에서 3시간만에 파인튜닝하며 짧은 연구 기간과 낮은 투자 비용으로도 GPT-3.5 와 동등한 정도의 고품질 연구성과를 보였습니다. 이는 잘 학습된 pre-trained LLM 과 Self-Instruct 기술이 결합되었을 때 매우 저렴한 비용으로도 LLM 성능에 뒤지지 않는 후속 모델을 만들 수 있음을 확인함과 동시에 LLM 연구에 대한 접근 장벽을 낮췄다는 점에 큰 의의가 있습니다.
Vicuna (13B)
GPT-4 성능의 90%를 구현해냈습니다.
Vicuna 는 GPT의 대화 내용으로 만들어진 Shared GPT 오픈소스 데이터셋을 사용하여 학습한 모델입니다. 300달러만으로 학습이 완료되었으며, 답변 품질 테스트 진행 결과 ChatGPT 성능의 90%를 구현했고 Bard 와는 거의 동등한 성능, Alpaca 보다 앞선 성능을 가지고 있습니다. 이후, Vicuna 를 기반으로 한 멀티모달 모델인 MiniGPT-4 도 공개되었는데, 전체 학습 과정을 완료하는데 4개의 A100 GPU(80GB) 로 단 10시간이 소요되며 GPT-4 와 유사한 성능을 보여줬습니다.
👏 이제, 서버실 없이도 손쉽게 LLM 을 시작할 수 있습니다
sLLM(Small large language model) 파라미터 수를 줄여 비용을 아끼고 미세조정으로 성능을 높인 모델을 의미합니다. 기존 LLM 은 매개변수가 1750억개(GPT) , 5400억개(PaLM) 인 반면, sLLM 은 70억 개 전후를 기준으로 합니다. Llama는 오픈소스임에도 기존 LLM과 동등한 성능을 보여줍니다. 이젠 대규모 서버실 없이, 소규모 서버로도 LLM 연구 시작할 수 있습니다.
AI 초기 도입부터 심화 개발까지.
LLM 구축의 가성비있는 시작부터 확장, 그래픽 분야까지
모든 분야에서 맞춤으로 사용 가능한 Multi GPU Server 를 소개해드립니다.
www.baroai.com/Poseidon
#바로AI #바로에이아이 #baroai #ai서버 #스타트업 #AI회사 #IT회사 #IT #NVIDIA #엔비디아 #NVIDIA #인공지능 #CPU #GPU #Poseidon #포세이돈 #workstation #워크스테이션 #server #GPU서버 #서버 #서버실구축 #aiworkstation #AI #연구 #예산 #국가과제 #데이터 #인프라 #연구실 #사무실 #대학교 #A100 #H100 #A6000 #Ada6000 #RTX4090 #자연어 #자연어처리 #LLM #sLLM #Llama #Alpaca #Vicuna #Bard #ChatGPT #GPT #7B #13B #33B #65B #오픈소스
2024.01.10
🦙 LLM 연구에서 필수로 꼽히는 ‘Llama’ 를 들어 보셨나요?
Meta 에서 발표한 오픈소스 모델로서, 모델 코드와 Pre-trained 파라미터 값이 공개되었습니다. 라마2는 70억에서 650억 매개변수까지 다양한 크기로 제공됩니다. Open AI의 ChatGPT 를 기반으로 LLM 구축시 정보 유출의 우려가 있습니다. 그러나 오픈소스를 활용하면 ChatGPT 급 성능으로 LLM 을 구현할 수 있으며, 동시에 정보 유출의 위험도 줄일 수 있습니다.
훈련시간 & 비용 최소화
성능은 높이고 모델 사이즈는 줄여, 모델 학습과 성능유지에 쏟는 막대한 비용과 시간 문제를 해결했습니다.
GPT3 를 뛰어넘는 성능
* 1B 당 10억 개의 매개변수
✨ LLM 연구, 오픈소스를 활용해보세요.
📉 비용 절감 : ChatGPT 사용 비용에 비해 적은 파라미터수의 모델로 학습 비용 절감
↔️ 확장성 : 사용자의 필요에 따라 코드를 수정하거나 확장 및 커스터마이즈 가능
⛳ 적응성 : 시시각각 변하는 트렌드에 따라 변화된 기술을 빠르게 도입 및 신속한 환경 구축
Llama 기반 sLLM 모델들
Llama 모델이 출시된 후, 스탠포드 대학 등에서 이를 활용한 파생 모델을 공개하고 있습니다. 공개된 파생 모델들은 기존 LLM 모델들과 견줄만한 성능을 보이고 있으며, 이로 인해 LLM 연구분야에 활력을 불어넣고 있습니다.
Alpaca (7B)
600달러 만으로도 GPT-3.5(175B) 와 동급의 성능을 보였습니다.
Alphaca 는 Llama (7B), Llama (13B) 모델을 파인튜닝한 모델입니다. 학습에 사용된 데이터는 GPT-3.5 text-davinci-003 을 통해 생성한 데이터입니다. 8개의 A100 GPU (80GB) 에서 3시간만에 파인튜닝하며 짧은 연구 기간과 낮은 투자 비용으로도 GPT-3.5 와 동등한 정도의 고품질 연구성과를 보였습니다. 이는 잘 학습된 pre-trained LLM 과 Self-Instruct 기술이 결합되었을 때 매우 저렴한 비용으로도 LLM 성능에 뒤지지 않는 후속 모델을 만들 수 있음을 확인함과 동시에 LLM 연구에 대한 접근 장벽을 낮췄다는 점에 큰 의의가 있습니다.
Vicuna (13B)
GPT-4 성능의 90%를 구현해냈습니다.
Vicuna 는 GPT의 대화 내용으로 만들어진 Shared GPT 오픈소스 데이터셋을 사용하여 학습한 모델입니다. 300달러만으로 학습이 완료되었으며, 답변 품질 테스트 진행 결과 ChatGPT 성능의 90%를 구현했고 Bard 와는 거의 동등한 성능, Alpaca 보다 앞선 성능을 가지고 있습니다. 이후, Vicuna 를 기반으로 한 멀티모달 모델인 MiniGPT-4 도 공개되었는데, 전체 학습 과정을 완료하는데 4개의 A100 GPU(80GB) 로 단 10시간이 소요되며 GPT-4 와 유사한 성능을 보여줬습니다.
👏 이제, 서버실 없이도 손쉽게 LLM 을 시작할 수 있습니다
sLLM(Small large language model) 파라미터 수를 줄여 비용을 아끼고 미세조정으로 성능을 높인 모델을 의미합니다. 기존 LLM 은 매개변수가 1750억개(GPT) , 5400억개(PaLM) 인 반면, sLLM 은 70억 개 전후를 기준으로 합니다. Llama는 오픈소스임에도 기존 LLM과 동등한 성능을 보여줍니다. 이젠 대규모 서버실 없이, 소규모 서버로도 LLM 연구 시작할 수 있습니다.
AI 초기 도입부터 심화 개발까지.
LLM 구축의 가성비있는 시작부터 확장, 그래픽 분야까지
모든 분야에서 맞춤으로 사용 가능한 Multi GPU Server 를 소개해드립니다.
www.baroai.com/Poseidon
#바로AI #바로에이아이 #baroai #ai서버 #스타트업 #AI회사 #IT회사 #IT #NVIDIA #엔비디아 #NVIDIA #인공지능 #CPU #GPU #Poseidon #포세이돈 #workstation #워크스테이션 #server #GPU서버 #서버 #서버실구축 #aiworkstation #AI #연구 #예산 #국가과제 #데이터 #인프라 #연구실 #사무실 #대학교 #A100 #H100 #A6000 #Ada6000 #RTX4090 #자연어 #자연어처리 #LLM #sLLM #Llama #Alpaca #Vicuna #Bard #ChatGPT #GPT #7B #13B #33B #65B #오픈소스