ChatGPT5 ChatGPT의 자연어 처리(NLP) - 인코딩 프로세스(Encoding Process)와 토큰화(Tokenization) 과정 ChatGPT에 사용되는 모델은 Word2Vec과 다른 트랜스포머 아키텍처(Transformer Architecture)를 기반으로 합니다. 입력된 문장은 먼저 토큰화 과정을 거칩니다. 토큰화 과정을 거친 입력 문장은 변환기(transformer) 모델, 특히 GPT-3.5 아키텍처를 통해 처리된다고 합니다. 먼저 ChatGPT의 인코딩 프로세스에 대해 알아보고, 토큰화(Tokenization) 과정을 살펴보겠습니다. 1. ChatGPT의 인코딩 프로세스 개요 1) 토큰화(Tokenization) 입력 문장이나 텍스트를 토큰화하여 토큰(Token)이라는 더 작은 단위로 나눕니다. 이러한 토큰은 사용된 특정 토큰화 설계 방식에 따라 단어, 하위 단어 또는 문자를 나타낼 수 있습니다. 2) 위치 인코딩(Po.. 2023. 7. 10. ChatGPT의 핵심 기술 - 트랜스포머(Transformer) 1. 트랜스포머란? 트랜스포머(Transformer)는 셀프 어텐션(self-attention) 기법을 사용하여 학습 속도를 빠르게 하고 메모리 문제를 해결한 인코더-디코더(encoder-decoder) 모델로서 2017년 구글 브레인(Google Brain) 팀의 연구원들이 공개한 논문 에서 제안되었습니다. 트랜스포머(Transformer)는 인공지능 분야에서 사용되는 딥러닝 모델로 자연어 처리(NLP, Natural Language Processing) 분야에서 혁신적인 성과를 이루었습니다. 이 모델은 RNN(순환 신경망)을 사용하지 않고 인코더-디코더 구조를 설계했음에도 성능이 RNN보다 우수하다고 평가됩니다. OpenAI사의 ChatGPT(Generative Pre-trained Transform.. 2023. 7. 5. ChatGPT 자세히 알아보기 오늘은 최근에 가장 많은 관심을 받고 있는 생성형 인공지능의 대표 모델인 ChatGPT에 대해 알아보고자 합니다. '대화 목적으로 개발한 언어 기반 생성형 인공지능 모델'인 GPT-3 기반 ChatGPT는 2022년 11월 30일 OpenAI에서 공개한 이후 선풍적인 인기를 끌며 수많은 가입자를 확보하였으나 실제 사용에 있어 많은 유해 정보 및 가짜 정보로 응답하는 경우가 많아 여러 가지 우려를 낳기도 했습니다. GPT-3 이후 OpenAI사는 2021년 9월까지 온라인상에 축적된 방대한 규모의 데이터를 기반으로 사전 학습된 대규모 GPT-4를 2023년 3월 공개하였습니다. GPT-4는 앞선 GPT-3 또는 GPT-3.5에 비교하여 추론 기능과 요약 성능, 언어 지원 능력이 크게 개선되었고, 유해 정보.. 2023. 7. 3. 인공지능(AI)이란 무엇인가? (1편) 인공지능(AI)은 기본적으로 컴퓨터에서 음성 및 작성된 언어를 보고 이해하고 번역하고 데이터를 분석하고 추천하는 기능 등 인간의 지성이 필요하거나 대량의 데이터를 처리하는 방식을 포함한 다양한 기능을 수행할 수 있는 일련의 소프트웨어 기술입니다. 이런 기능을 구현하기 위하여 AI는 컴퓨터 공학, 데이터분석 및 통계, 하드웨어 및 소프트웨어 엔지니어링, 언어학, 신경과학은 물론 철학과 심리학 등 여러 학문과 광범위하게 연결되어 있습니다. 1. 인공지능(AI)의 유래와 학문으로서의 위치 인공지능(Artificial Intelligence: AI)이라는 용어는 1956년 미국 Dartmouth College에서 열린 인공지능을 주제로 한 학술회의에서 John McCarthy라는 학자가 처음으로 사용했다고 전해.. 2023. 5. 2. 환영합니다! 최근 OpenAI라는 회사가 ChatGPT와 GPT4를 발표하여 세상을 깜짝 놀라게 하였습니다. IT전문가가 아닌 저도 생성형 AI라는 ChatGPT를 직접 사용해 본 후 참으로 대단한 것이라는 느낌과 함께 ChatGPT가 앞으로 우리의 생활에 많은 영향을 미치게 될 것이라는 생각이 들었습니다. 그래서 인공지능(AI)을 보다 잘 이해하기 위한 공부하기로 마음먹었습니다 제가 IT나 컴퓨터 사이언스 전문가가 아니라서 기초부터 하나하나 공부를 하고자 합니다. 이 블로그는 전문가가 아닌 평범한 사람인 제가 인공지능(AI)의 개념부터 시작하여 최근에 발전된 생성형 AI모델이자 AGI(Artificial General Intelligence)를 지향하는 ChatGPT, GPT4에 이르기까지 공부하는 과정을 기록하려.. 2023. 4. 29. 이전 1 다음 728x90
