2023.05.21 - [인공지능(AI; Artificial Intelligence)] - 인공지능(AI)과 인공 신경망(Artificial Neural Network) (2)
5. 순환 신경망(Recurrent Neural Network; RNN)
앞에서 보았듯이 계층형 신경망은 입력에서 출력으로 한 방향으로만 계산하는 신경망입니다. 이에 반해 순환 신경망(recurrent neural network)은 출력으로 향하는 신호가 입력 쪽에 피드백되는 구조를 가진 신경망입니다. (아래 그림은 순환 신경망 구조의 예입니다)
지금까지 공부해 온 단순한 계층형의 신경망과는 달리 데이터의 전달 경로가 출력에서 입력 방향으로 향하는 구조의 신경망을 일반적으로 순환 신경망(Recurrent Neural NetworK)이라고 부릅니다. 순환 신경망에서는 피드백이 없는 일반적인 계층형 신경망에서 다루지 못하는 연속형 데이터(Sequential Data)를 처리하기 위해 고안된 신경망입니다. 자연어나 시계열 데이트 등과 같이 연속형 데이터(Sequential Data)란 순서에 따라 의미가 달라지는 데이터를 의미합니다. 순환 신경망은 음성 인식(Speech Recognition)이나 자연어 처리(Natural Language Processing)와 같은 순차적 데이터 처리에 많이 사용되고 있습니다.
6. 기타 신경망
이번에는 지금까지 공부했던 계층형 신경망(Multi-layer Neural Network)이나 순환 신경망(RNN)과는 다른 형식의 신경망을 소개합니다.
6. 1 홉필드 망(Hopfield Nets)과 블츠만 머신(Boltzmann Machine)
홉필드 네트워크(Hopfield Nets)는 모든 인공 뉴런들이 상화 결합한 순환 신경망입니다. 홉필드 망은 물리현상의 시뮬레이션을 목적으로 1982년 미국 캘리포니아 공과대학의 물리학자인 Hopfield에 의해 제안된 상호 결합형 신경망 모델로서, 연상 기억이나 최적화 문제를 병렬적으로 푸는 데 많이 사용됩니다. 특히 연상 기억에 있어서는 일정한 범용 패턴들을 연결 강도로 저장했다가 미지의 입력 패턴이 주어질 때 이와 가장 유사한 패턴을 찾아냅니다.
홉필드 망에서는 신경망에 삽입하고 싶은 정보에 따라 각 인공 뉴런 사이의 결합하중을 결정합니다. 그리고 적당한 출력 패턴을 설정해서 연속적으로 반복하면 처음에 삽입한 정보 중 하나를 끄집어낼 수 있습니다. 이 정보를 이용하여 연상기억을 실현하거나 물리 현상의 안정 상태를 구하는 시뮬레이션을 실행합니다.
홉필드 망에서 구하는 안정 상태란 안정점을 말하며, 이것을 일반적으로 실행 가능한 검색으로 발전시킨 것이 블츠만 머신(Boltzmann Machine)입니다. 볼츠만 머신에서는 홉필드 망의 인공 뉴런에 확률적인 변동을 더해 최댓값이나 최솟값 같은 전반적으로 실행 가능한 해를 구하도록 설계되어 있습니다. 따라서 볼츠만 머신은 홉필드 망을 더욱 개량한 네트워크로 볼 수 있습니다.
6. 2 자기조직화지도(SOM; Self-Organizing Map)
자기조직화지도(Self-Organizing Map)는 비지도 학습의 대표적인 예가 되는 신경망입니다. 자기조직화지도는 고차원의 입력 특징 벡터로 표현되는 대상물을 1차원이나 2차원 또는 3차원 등의 저 차원의 표현에 대응시키는 움직임이 있는 신경망입니다.
입력 벡터를 훈련 집합에서 일치되도록 가중치를 조정하며 인공 신경망에 기초한 비지도 학습(unsupervised learning)의 한 방법입니다. 일종의 경쟁 신경망(competitive network)인 승자 전유(winner-take-all) 과정은 입력 벡터에 가장 가까운 가중치 벡터를 가지는 노드를 승자로 선언하고, 그 값이 입력 벡터에 더 가까워지도록 가중치가 조정 됩니다. 이 과정을 반복하면서 학습 데이터세트가 가진 입력 특징 벡터를 신경망에 배치하는 것입니다.
이상으로 신경망(Artificial Neural Network; ANN)에 대해 알아보았습니다. 이를 기초로 다음 편부터는 딥러닝에 대해 공부해보려 합니다.
2023.05.21 - [인공지능(AI; Artificial Intelligence)] - 인공지능(AI)과 인공 신경망(Artificial Neural Network) (2)
'인공지능(AI)이란? - 기초 개념 및 이론' 카테고리의 다른 글
| 딥러닝(Deep Learning) (2) - 자기부호화기(autoencoder) 및 LSTM(Long Short-Term Memory) (0) | 2023.05.24 |
|---|---|
| 딥러닝(Deep Learning) (1) - 합성곱 신경망(Convolutional Neural Network) (0) | 2023.05.23 |
| 인공지능(AI)과 인공 신경망(Artificial Neural Network) (2) (0) | 2023.05.21 |
| 인공지능(AI)과 인공 신경망(Artificial Neural Network) (1) (1) | 2023.05.19 |
| 머신러닝 학습 방법: K-인접기법, 결정트리와 랜덤 포레스트 & 서포트 벡터 머신(SVM) (0) | 2023.05.18 |
댓글