거대언어모델1 ChatGPT의 개발 과정과 배경 거대 언어 모델(LLM, Large Language Model)의 대표적인 모델인 ChatGPT의 개발 과정과 배경을 살펴보고자 합니다. ChatGPT의 배경이 되는 거대 언어 모델의 역사는 그리 오래지 않습니다. 거대 언어 모델(LLM)이 발전되어 현재의 ChatGPT에 이르는 과정을 연도 순으로, 그리고 단계적 발전에 기여한 기술과 모델들 중심으로 기술해 보겠습니다. 1. Word2 Vec (2012~ ) 거대 언어 모델(LLM)의 시작은 2012년 구글의 연구자들이라고 알려져 있습니다. 당시 일론 머스크(Elon Musk)는 한 언론과의 인터뷰에서 전 세계 핵심 AI 연구자들의 70% 이상이 구글에 속해 있다고 말한 바 있습니다. 실제로 구글에서는 대규모 데이터 세트와 분산 처리 기술을 결합하여, .. 2023. 6. 30. 이전 1 다음 728x90
