word2vec3 자연어처리(NLP) 알고리즘 - Word2Vec vs Transformer 모델 Word2Vec은 인공 신경망을 사용하여 단어의 의미를 학습하는 기계학습 알고리즘입니다. Word2Vec은 단어의 빈도를 분석하여 단어의 의미를 학습하는 방법인 통계적 기법과는 달리 단어의 주변 단어를 분석하여 단어의 의미를 학습합니다. 단어의 의미를 파악하는 학습 방식에는 2가지 방법이 있습니다. 첫 번째 방식은 Skip-gram 방식입니다. Skip-gram 방식은 특정 단어(target word)를 기준으로 그 단어 주위에 있는 단어를 예측하는 방식입니다. 예를 들어, "집"이라는 단어를 기준으로 "사람", "마당", "주소"와 같은 단어를 예측합니다. 두 번째 방식은 CBOW(Continuous Bag of Words) 방식입니다. CBOW 방식은 특정 단어 주위에 있는 단어를 기준으로 그 단어(.. 2023. 7. 6. ChatGPT의 개발 과정과 배경 거대 언어 모델(LLM, Large Language Model)의 대표적인 모델인 ChatGPT의 개발 과정과 배경을 살펴보고자 합니다. ChatGPT의 배경이 되는 거대 언어 모델의 역사는 그리 오래지 않습니다. 거대 언어 모델(LLM)이 발전되어 현재의 ChatGPT에 이르는 과정을 연도 순으로, 그리고 단계적 발전에 기여한 기술과 모델들 중심으로 기술해 보겠습니다. 1. Word2 Vec (2012~ ) 거대 언어 모델(LLM)의 시작은 2012년 구글의 연구자들이라고 알려져 있습니다. 당시 일론 머스크(Elon Musk)는 한 언론과의 인터뷰에서 전 세계 핵심 AI 연구자들의 70% 이상이 구글에 속해 있다고 말한 바 있습니다. 실제로 구글에서는 대규모 데이터 세트와 분산 처리 기술을 결합하여, .. 2023. 6. 30. 자연어처리(NLP; Natural Language Processing) - 딥러닝을 이용한 자연어처리 (4) 2. 머신러닝을 이용한 자연어처리 앞서 설명한 바와 같이 자연어처리 기술은 수작업으로 문법이나 사전을 사전에 구성하는 (종래형) 방법에서 대규모 말뭉치(corpus)를 전제로 한 통계적 방법으로 발전했습니다. 그러나 대규모 데이터 처리에는 통계적 방법뿐만 아니라 머신러닝(machine learning), 특히 딥러닝(deep learniing)이 유용하게 사용되고 있습니다. 통계기반 기계번역과 인공신경망 기계번역은 딥러닝을 활용합니다. 사람은 학습 데이터를 수집하고 가공해서 컴퓨터에 던져주고, 컴퓨터는 입력된 학습 데이터를 바탕으로 스스로 공부합니다. 학습(learning)이 끝나면 번역 프로그램이 스스로 공부한 바를 바탕으로 새로운 문장을 보더라도 번역할 수 있는 능력을 키울 수 있습니다. 2.1 딥러.. 2023. 6. 3. 이전 1 다음 728x90
