selfattention2 자연어처리(NLP) 알고리즘 - Word2Vec vs Transformer 모델 Word2Vec은 인공 신경망을 사용하여 단어의 의미를 학습하는 기계학습 알고리즘입니다. Word2Vec은 단어의 빈도를 분석하여 단어의 의미를 학습하는 방법인 통계적 기법과는 달리 단어의 주변 단어를 분석하여 단어의 의미를 학습합니다. 단어의 의미를 파악하는 학습 방식에는 2가지 방법이 있습니다. 첫 번째 방식은 Skip-gram 방식입니다. Skip-gram 방식은 특정 단어(target word)를 기준으로 그 단어 주위에 있는 단어를 예측하는 방식입니다. 예를 들어, "집"이라는 단어를 기준으로 "사람", "마당", "주소"와 같은 단어를 예측합니다. 두 번째 방식은 CBOW(Continuous Bag of Words) 방식입니다. CBOW 방식은 특정 단어 주위에 있는 단어를 기준으로 그 단어(.. 2023. 7. 6. ChatGPT의 핵심 기술 - 트랜스포머(Transformer) 1. 트랜스포머란? 트랜스포머(Transformer)는 셀프 어텐션(self-attention) 기법을 사용하여 학습 속도를 빠르게 하고 메모리 문제를 해결한 인코더-디코더(encoder-decoder) 모델로서 2017년 구글 브레인(Google Brain) 팀의 연구원들이 공개한 논문 에서 제안되었습니다. 트랜스포머(Transformer)는 인공지능 분야에서 사용되는 딥러닝 모델로 자연어 처리(NLP, Natural Language Processing) 분야에서 혁신적인 성과를 이루었습니다. 이 모델은 RNN(순환 신경망)을 사용하지 않고 인코더-디코더 구조를 설계했음에도 성능이 RNN보다 우수하다고 평가됩니다. OpenAI사의 ChatGPT(Generative Pre-trained Transform.. 2023. 7. 5. 이전 1 다음 728x90
