[자연어처리 입문] - 자연어 처리 소개

자연어 처리란 ?

• 우선 자연어란, 일상 생활에서 사용하는 보편적인 언어이다. 즉, 자연어 처리(NLP)는 컴퓨터가 자연어를 처리하는 일이다.
• 종류 : 음성 인식, 번역, 요약, 분류(스팸 메일 분류 : 광고성 문자, 느낌표 등등 컴퓨터가 잡아낼 수 있음)

 

자연어 처리가 활용되고 있는 예시들

Chatbot : A program for Interaction

• Sentiment Analysis : 텍스트에 녹아 있는 감성 또는 의견을 파악
• Tokenization : 단어의 최소한의 의미를 파악하는 쪼개기
• Named Entity Recognition : 텍스트로부터 주제 파악하기
• Normalization : 의도된 오타 파악하기
• Dependency Parsing : 문장 구성 성분의 분석

SIRI : An assistant for Questions

• Feature Analysis : 음성 데이터로부터 특징을 추출
• Language Model : 언어별로 갖고 있는 특성을 반영
• Deep Learning : 이미 학습된 데이터로부터 음성 신호 처리
• HMM(Hidden Markov Model) : 앞으로 나올 단어 또는 주제의 예측
• Similarity Analysis : 음성 신호가 어떤 기준에 부합하는가?

Translator

• Encoding : 유사도 기반 자연어의 특징 추출
• Time Series Modeling : 문장을 시간에 따른 데이터로 처리
• Attention Mechanism : 번역에 필요한 부분에만 집중하기
• Self-Attention : 문장 사이의 상관관계를 분석하기
• Transformer : Attention 구조를 이용한 번역 원리 (딥러닝 아키텍처)