[인공지능/Deep Learning] 개념 정리

딥러닝 개요

• 딥러닝은 기계 학습 알고리즘의 한 종류
• 이 알고리즘은 비선형 처리 유닛의 여러 층을 사용하여 특징 추출 및 변환을 수행
• 각 층은 이전 층의 출력을 입력으로 사용하여 처리
• 딥러닝 알고리즘은 지도 학습과 비지도 학습으로 나뉘며, 응용 분야에는 패턴 분석(비지도 학습)과 분류(지도 학습)가 포함됨

딥러닝 알고리즘의 구조

• 알고리즘은 다양한 층으로 구성되어 있으며, 각 층은 비선형 처리를 통해 데이터를 변환한다.
• 이러한 구조는 복잡한 데이터 패턴을 학습하는 데 효과적이다.
• 층의 깊이가 증가할수록 모델의 표현력이 향상된다.
• 출력은 각 층의 가중치와 활성화 함수를 통해 결정된다.

지도 학습과 비지도 학습

• 딥러닝 알고리즘은 지도 학습과 비지도 학습으로 구분된다.
  1. 지도 학습:
     • 입력 데이터와 그에 해당하는 정답(레이블)이 있는 데이터로 학습하여 분류 및 회귀 문제를 해결한다.
     • 명확한 목표(레이블)을 가지고 학습 데이터를 준비할 수 있으며, 모델의 성능을 명확하게 평가할 수 있다.
     • 분류(Classification) : 입력 데이터를 미리 정의된 여러 범주 중 하나로 할당하는 문제
       • ex) 이메일 스팸인지 아닌지 판별하는 스팸 필터
     • 회귀(Regression) : 입력 데이터에 대한 연속적인 값을 예측하는 문제
       • ex) 집의 크기와 위치 등을 바탕으로 가격 예측하는 모델
  2. 비지도 학습:
     • 레이블이 없는 데이터로 학습하여, 데이터 내의 숨겨진 패턴이나 구조를 찾아내는 학습 방법으로 패턴 분석 및 군집화 및 차원 축소를 수행한다.
     •  데이터의 숨겨진 특성을 발견하는 데 강력하지만, 학습 결과의 해석이 어렵고, 명확한 성능 평가 기준이 없을 수 있다.
     • 군집화(Clustering) : 비슷한 특성을 가진 데이터 포인트들을 그룹으로 묶는 것
       • ex) 고객 데이터를 바탕으로 비슷한 구매 패턴을 가진 고객 그룹을 찾아내는 고객 세분화
     • 차원 축소(Dimensionality Reduction) : 데이터의 특성을 줄이면서도 중요한 정보를 유지하는 방법
       • ex) 고차원 데이터를 저차원으로 표현하여 시각화하는 데이터 시각화

딥러닝의 응용 분야

• 딥러닝 알고리즘은 다음과 같은 다양한 응용 분야에서 개발된다:
  • 감정 분석: 텍스트의 감정을 분류하는 데 사용된다.
  • 텍스트 분류: 문서나 데이터를 특정 카테고리로 분류하는 데 활용된다.
  • 소셜 네트워크 마이닝: 소셜 미디어 데이터를 분석하여 인사이트를 도출하는 데 기여한다.
• 이러한 응용은 산업 및 연구 분야에서 널리 사용된다.

효율적인 딥러닝 연구

• 효율적인 딥러닝은 신경망 모델을 최적화하여 성능을 극대화하고 계산 자원을 최소화하는 데 중점을 둔다.
• 주요 목표는 다음과 같다:
  1. 메모리: 모델이 사용하는 메모리 양을 줄인다.
  2. 처리 능력: 필요한 처리 능력을 최소화한다.
  3. 에너지 소비: 에너지 소모를 줄인다.
• 이러한 기술은 자원 제약 장치에서 모델을 배포할 수 있도록 한다.

자원 제약 장치에서의 모델 배포

• 효율적인 딥러닝 기술은 스마트폰 및 IoT 장치와 같은 자원 제약 장치에서 모델을 배포할 수 있게 한다.
• 이러한 기술은 대규모 AI 시스템의 환경적 영향을 줄이는 데 기여한다.
• 모델 배포는 다양한 환경에서의 실용성을 높인다.

모델 효율성 향상 방법

• 연구는 다음과 같은 방법을 통해 딥러닝 모델의 효율성을 향상시키는 데 집중한다:
  1. 프루닝: 불필요한 뉴런을 제거하여 모델을 경량화한다.
  2. 양자화: 모델의 가중치를 낮은 비트 수로 표현하여 메모리 사용을 줄인다.
  3. 지식 증류: 큰 모델의 지식을 작은 모델로 전이하여 성능을 유지한다.
  4. 효율적인 추론 알고리즘: 추론 과정에서의 계산을 최적화한다.
• 이러한 방법들은 모델의 성능을 유지하면서 자원 소모를 줄이는 데 기여한다.