[인공지능] 신경회로망

신경회로망

• 두뇌 속의 신경 구조
• 약 10~100억 개의 신경세포인 뉴런이 있고, 각 신경세포는 1000~10만 개의 다른 신경세포와 신경연접(시냅스)를 통해 연결된다.
• 신경세포는 매우 간단한 처리만 담당
• 신경연접을 지나가는 신호는 신경연접의 특성에 따라 증폭되거나 감쇄되어 전달된다.

컴퓨터와 신경계통의 처리 방법 특성 비교

구분	CPU	뉴런
처리속도	수 나노 초(1/1000000000) 단위	수 밀리 초(1/1000) 단위
처리방법	나열된 명령어를 순차적으로 수행	대단위 병렬처리

인공신경회로망

• 신경 구조를 모델링하여 지능적 처리에 응용
• 간단한 연산기능을 하는 많은 수의 뉴런으로 구성
• 수많은 뉴런이 동시에 동작하는 대단위 병렬처리
• 뉴런간에 존재하는 신경연접의 연결가중치 벡터에 정보를 분산 저장
• 학습 데이터에 따라 자동적으로 연결가중치를 조정하는 학습능력을 가진다.
• 일부 뉴런에 고장이 발생해도 전체 시스템의 성능이 급격하게 저하되지 않는 결함내성을 갖는다.

뉴런의 기능

• 신경회로망을 구성하는 프로세서인 뉴런의 기능은 입력된 신호 x와 입력단과의 연결가중치 w를 곱한 값을 모두 더한 다음, 그 결과에 활성함수 f를 취한다.
• 바이어스(임계치)는 x와 w의 곱을 모두 더한 값이 바이어스보다 작으면 뉴런이 활성화되지 않도록 하는 역할을 한다.

활성함수

구분	특징
하드 리미트
시그모이드
TanH
ReLU

연결형태

• 흥분성 연결 : 뉴런의 활성을 높임

• 금지 연결 : 뉴런의 활성을 낮춤

• 층간연결 : 같은 층 사이의 연결

• 층내연결 : 서로 다른 층 사이의 연결

• 피드포워드 연결 : 하위층(입력층)에서 상위층(출력층)으로만 신호가 전달
• 순환 연결 : 출력이 다시 입력으로 순환

신경회로망의 학습

• 지도학습
  • 입력벡터와 기대 출력(label)의 쌍을 학습데이터로 제공
  • 실제 출력이 기대 출력과 다르면 연결가중치를 조정
• 자율학습
  • 학습데이터에 입력벡터만 제공하며 기대 출력은 제시하지 않음
  • 입력벡터의 집합을 군집화하여 유사한 벡터는 동일 출력을 낼 수 있도록 연결가중치를 조정
• 준지도학습
  • 라벨이 지정되지 않은 큰 규모의 학습표본 집합과, 비교적 작은 규모의 라벨이 지정된 학습표본 집합을 사용하는 학습방법
• 배치학습
  • 학습 표본집한 내의 각 표본에 의한 연결가중치 변화분을 누적
  • 전체 학습 표본에 대한 누적 변화량을 반영하여 연결가중치를 업데이트
• 온라인학습
  • 개별 학습 표본에 대하여 연결가중치의 변화량을 계산하여 연결가중치를 업데이트
  • 확률적 경사하강법(SGD) : 매 학습 단계에서 학습 표본을 무작위로 섞어 학습을 진행
• 미니배치
  • 전체 학습 표본집합을 작은 부분집합(미니배치)으로 분할
  • 미니배치 단위로 연결가중치 업데이트