분류 전체보기49 자연어처리(NLP; Natural Language Processing) - 딥러닝을 이용한 자연어처리 (4) 2. 머신러닝을 이용한 자연어처리 앞서 설명한 바와 같이 자연어처리 기술은 수작업으로 문법이나 사전을 사전에 구성하는 (종래형) 방법에서 대규모 말뭉치(corpus)를 전제로 한 통계적 방법으로 발전했습니다. 그러나 대규모 데이터 처리에는 통계적 방법뿐만 아니라 머신러닝(machine learning), 특히 딥러닝(deep learniing)이 유용하게 사용되고 있습니다. 통계기반 기계번역과 인공신경망 기계번역은 딥러닝을 활용합니다. 사람은 학습 데이터를 수집하고 가공해서 컴퓨터에 던져주고, 컴퓨터는 입력된 학습 데이터를 바탕으로 스스로 공부합니다. 학습(learning)이 끝나면 번역 프로그램이 스스로 공부한 바를 바탕으로 새로운 문장을 보더라도 번역할 수 있는 능력을 키울 수 있습니다. 2.1 딥러.. 2023. 6. 3. 자연어처리(NLP; Natural Language Processing) - 통계적 처리 및 기계번역 (3) 1.4 의미 분석(semantic analysis) 의미 분석(semantic analysis)은 형태소 분석이나 구문 분석의 결과를 이용해서 자연어의 독립된 의미표현을 작성하는 과정입니다. 의미표현 방법으로는 필모어(Charles J. Fillmore)가 제창한 격문법(case grammar)이 유명합니다. 격문법에서는 주격이나 목적격 등 언어로 표현된 표층격(surface case)에서 언어에 의존하지 않는 심층격(deep case)을 추출해서 의미를 표현합니다. 아래 (표 1)은 표층격의 예입니다. (표 1) 격문법의 심층격 예 격의 명칭 설 명 행위주격(A) 행위의 주체 경험 주격(B) 행위의 영향을 받거나 경험하는 실체 도구격(I) 사건의 원인이나 자극을 주는 대상 대상격(O) 이동이나 변화의 .. 2023. 6. 2. 자연어처리(NLP; Natural Language Processing) - 구문 분석 (2) 1.3 구문 분석(syntactic analysis) 구문 분석(syntactic analysis)은 형태소 분석의 결과를 이용해서 주어진 문장이 어떤 구조로 이루어졌는지를 조사합니다. 구문 분석을 위해서는 문장 구조에 관한 지식인 문법(grammar) 지식이 필요합니다. 1) 문법표현: 구(句) 구조문법(phrase structure grammar) 문법표현에는 다양한 방법이 있지만 여기에서는 언어학자 촘스키(Noam Chomsky)가 제창한 구(句) 구조문법(phrase structure grammar)의 표현 방법을 공부해 봅니다. 구(句) 구조문법(phrase structure grammar)은 다음의 4가지 요소로 구성됩니다. (1) 바꿔 쓰기 규칙 (2) 단말 기호 (3) 비단말 기호 (4) .. 2023. 6. 1. 자연어처리(NLP; Natural Language Processing) - 종래형 자연어 처리 (1) 자연어 처리(NLP; Natural Language Processing)는 인공지능 연구의 주요 분야 중 하나로, 1950년대부터 기계번역과 같은 자연어 처리 기술이 연구되기 시작했습니다. 1990년대 이후에는 대량의 말뭉치(corpus) 데이터를 활용하는 기계학습 기반 및 통계적 자연어 처리 기법이 주류가 되었으며, 최근에는 심층 기계 학습(딥러닝; deep learning) 기술이 기계 번역 및 자연어 생성 등에 적용되고 있습니다. 우선 용어를 정리하겠습니다. 한국어, 영어, 프랑스어 등과 같이 인간사회의 형성과 함께 자연발생적으로 생겨나고 세월의 흐름과 함께 진화하고 일상의 생활 속에서 서로 의사소통을 행하기 위한 수단으로써 사용되고 있는 언어 (language)를 자연어라고 합니다. 반면에 컴퓨터.. 2023. 5. 31. 떼지능(Swarm Intelligence) 여기서는 생물의 군집이 나타내는 지적 활동에서 힌트를 얻은 알고리즘인 떼지능(swarm intelligence)에 공부합니다. 일자군집 최적화, 개미집단 최적화, 물고기 떼의 행동행태 알고리즘 등을 예로서 개념을 이해하는데 중점을 두고 공부해 보겠습니다. 1. 입자군집 최적화(PSO; Particle Swarm Optimization) 입자군집 최적화(PSO; Particle Swarm Optimization)는 물고기 떼로 대표되는 생물의 군집 활동을 시뮬레이션하여 최적값을 탐색하는 최적화 방법입니다. PSO와 같은 swarm-based optimization에서는 주어진 법칙에 더하여 agent들이 저장하고 있는 정보를 조합하여 최적해를 찾아갑니다. 입자군집 최적화(PSO)에서는 탐색 공간 속에 최적.. 2023. 5. 30. 유전 알고리즘(GA; Genetic Algorithm) (2) 2023.05.27 - [인공지능(AI; Artificial Intelligence)] - 인공지능(AI): 진화연산(2) - 유전 알고리즘(GA; Genetic Algorithm) (1) (앞편의 유전자 알고리즘(1)에서 이어집니다) 3) 돌연변이(mutation) 돌연변이(mutation)는 랜덤으로 유전정보를 바꾸는 조작입니다. 유전정보의 최소 단위인 유전자자리에 주목해서 낮은 확률로 유전자자리의 0과 1을 전향시키는 방법(reverse) 또는 두 개의 유전자라리 사이의 유전정보를 바꾸는 방법(exchange)입니다. 일반적으로 돌연변이를 발생하게 하는 확률값은 몇 % 정도의 낮은 수치를 지정합니다. 이 값이 너무 크면 유전적인 조작으로 획득한 형질이 금방 망가져버려서 진화가 멈춥니다. 반대로 너무.. 2023. 5. 29. 유전 알고리즘(GA; Genetic Algorithm) (1) 진화연산의 구체적인 예로 유전 알고리즘(GA; Genetic Algorithm), 유전 프로그래밍(GP; Genetic Programming) 등이 있습니다. 여기서는 유전 알고리즘에 관하여 공부합니다. 2. 유전 알고리즘(GA; Genetic Algorithm) 유전 알고리즘(GA; Genetic Algorithm)은 집단 기반의 최적화 기법인 진화 알고리즘의 한 종류로 집적 회로 설계, 리보핵산(RNA:RiboNucleicAcid) 구조 예측, 인공 신경망(ANN) 학습 등 매우 다양한 분야의 최적화 및 탐색(search) 문제에 적용되고 있습니다. 유전 알고리즘은 1931년 시월 라이트(Sewall Wright)가 제안한 적합도 경관(fitness landscape)의 개념에 영향을 받았고, 196.. 2023. 5. 27. 진화연산(Evolutionary Computation) (1) 1. 생물진화와 진화연산(Evolutionary Computation) 진화연산(Evolutionary Computation)은 생물의 진화 과정을 시뮬레이션하여 최적화나 지식획득을 하는 계산 알고리즘입니다. 생물진화란 생물집단이 세대교체를 거치면서 환경에 더욱 잘 적용한 형질을 획득하는 과정입니다. 진화연산에서는 환경과의 상호작용이나 세대교체를 통해 유전적인 조작을 시뮬레이션해서 조합 최적화 문제를 풀고 최적화에 관한 지식을 얻습니다. 생물의 진화는 진화의 원리에 따라 발생합니다. 전제적인 요건으로 생물은 부모로부터 자식에게 유전자를 전달하는데, 이때 유전정보를 구성하는 것이 유전자(gene)입니다. 또한 유전정보는 염색체(chromosome)이라는 물질에 기록됩니다. 염색체에는 다양한 유전정보가 기록.. 2023. 5. 26. 딥러닝(Deep Learning) (3) - 생성적 대립 신경망(GAN; Generative Adversarial Network) 5. 생성적 대립 신경망(GAN; Generative Adversarial Network) 생성적 대립 신경망(GAN; Generative Adversarial Netwrok)은 생성기(Generator)와 판별기(Discriminator)가 경쟁하면서 실제와 가까운 이미지, 동영상, 음성 등을 자동으로 만들어 내는 머신러닝(ML) 학습 방식의 하나로서, 두 개의 신경망(생성기와 판별기)을 조합하여 비지도학습(unsupervised learning)을 진행하면서 입력된 데이터와 유사한 데이터를 생성할 수 있는 생성계를 구성하는 시스템입니다. GAN을 이용하면 주어진 이미지 데이터를 사용해 학습을 진행하여 주어진 이미지 데이터와 유사한 새로운 이미지 데이터를 생성하는 이미지 생성계를 얻을 수 있습니다. 참.. 2023. 5. 25. 딥러닝(Deep Learning) (2) - 자기부호화기(autoencoder) 및 LSTM(Long Short-Term Memory) (앞 편의 합성곱 신경망에 이어서 공부합니다.) 3. 자기 부호화기(autoencoder) 자기 부호화기(autoencoder)는 3층 구조의 계층형 신경망입니다. 자기 부호화기(autoencoder)는 입력층과 출력층에 같은 수의 인공 뉴런이 있고, 은닉층에는 입출력층의 인공 뉴런보다 적은 수의 인공뉴런을 배치한 형태입니다. (그림 2) 자기 부호화기(autoencoder)는 원래 비지도학습(unsupervised learning)으로 차원 축소(dimensionality reduction)가 목적인 계층형 신경망입니다. 그 의미를 살펴보면 다음과 같습니다. 자기 부호화기에 넣은 학습 데이터는 입력층의 신경망 개수가 같은 차수의 벡터입니다. 자기 부호화기에서는 특정 학습 데이터에 대응하는 데이터와 일치.. 2023. 5. 24. 이전 1 2 3 4 5 다음 728x90
