[인공지능/Deep Learning] 딥러닝의 기초 - 퍼셉트론

퍼셉트론

• 인공신경망 최초의 알고리즘
• 입력층과 출력층만으로 구성된 단층 퍼셉트론(single layer perceptron)의 개념
  • 입력층: 여러 개의 입력값(x1, x2,...,xn)을 받음
    출력층: 단일 출력값을 생성
• 이진 분류(Binary Classification) 모델을 학습하기 위한 지도학습기반의 알고리즘

단층 퍼셉트론

1. 단층 퍼셉트론은 입력층(x들)과 출력층만으로 구성되어 있으며, 각 입력값은 가중치(weight)와 곱해져 가중합을 계산
   
   • 가중치 (Weight): 각 입력값의 중요도를 나타내며, 학습 과정에서 조정된다. 가중치가 클수록 해당 입력값의 영향력이 커진다.
   • 편향 (Bias, b): 뉴런이 얼마나 쉽게 활성화되는지를 조절하는 변수다. 이는 가중합에 추가되어 뉴런의 활성화를 도와준다.
   • x외에도 편향(bias, b)은 딥러닝 모델 최적화의 중요 변수 중 하나
2. 퍼셉트론은 입력받은 값을 모두 합산함 = 가중합
3. 활성화 함수 사용 : 퍼셉트론에서는 활성화 함수를 사용하여 가중합의 결과를 비선형적으로 변환한다.
   • 계단 함수 : 입력값이 특정 임계값을 초과하면 1, 그렇지 않으면 0을 출력
   • 시그모이드 함수 : 출력값이 0과 1 사이의 연속적인 값

 

퍼셉트론 학습

1. 입력값과 가중치를 곱하여 모두 더하기
2. 이 합산된 값을 활성화 함수에 통과시켜 출력값을 생성
3. 출력값과 실제 정답 간의 오차를 계산
4. 오차를 기반으로 가중치를 업데이트하여 모델을 개선

 

바이어스(편향, b)

• 가중치가 각 입력값의 영향력을 조절하는 변수라면, 바이어스는 뉴런이 얼마나 쉽게 활성화 되느냐를 조절하는 변수

 

단층 퍼셉트론 한계

• XOR 게이트 구현 불가
  • 단층 퍼셉트론은 선형 분리 가능한 문제에 대해서만 해결할 수 있다.
  • XOR 문제는 선형적으로 분리할 수 없기 때문에 단층 퍼셉트론으로는 해결할 수 X → 곡선 분류만 가능 → 다층 퍼셉트론 탄생의 기초가 됨 

 

선형과 비선형의 문제

• 퍼셉트론 하나는 직선으로 나눈 영역(AND, OR, NANA)만 표현 가능
• 단층 퍼셉트론에서 층을 증가시킴으로써, XOR 문제 해결 가능
• 활성화 함수를 사용하는 이유도 비선형을 만들어 주기 위함

 

다층 퍼셉트론

• 은닉층(hidden layer)이 존재한다면 → 다층 퍼셉트론 = Deep Neural Network, DNN
• DNN을 학습시키는 것 = 딥러닝
• 은닉층: 입력층과 출력층 사이에 위치하며, 여러 개의 뉴런으로 구성된다.
• 비선형성: 활성화 함수를 통해 비선형성을 도입하여 복잡한 패턴을 학습할 수 있다.

단층 퍼셉트론은 간단한 이진 분류 문제를 해결할 수 있지만, 다층 퍼셉트론을 통해 더 복잡한 문제를 다룰 수 있다.

이러한 기본 원리를 바탕으로 다양한 딥러닝 모델이 발전했다.