y_lime 님의 블로그

활성화 함수 (Activation Function)정의: 출력값을 활성화시키는 여부를 결정하고 그 값을 부여하는 함수.역할: 퍼셉트론의 출력값을 결정하는 비선형 함수로, 데이터의 비선형성을 반영하기 위해 사용특징선형 시스템의 한계: 선형 함수로만 구성된 네트워크는 다층 구조를 쌓아도 결국 하나의 선형 함수로 축소된다. 따라서 선형 시스템으로는 XOR과 같은 비선형 문제를 해결할 수 없다.비선형성 필요: 활성화 함수는 네트워크가 복잡한 패턴을 학습할 수 있도록 도와준다.주요 활성화 함수1. Sigmoid 함수​모든 입력값에 대해 출력값이 실수값으로 정의출력값이 0과 1 사이의 연속적인 값으로 정의입력값이 작아질수록 0에 가까워지고 커질수록 1에 가까워짐확률 표현 가능 (이진 분류에 유용 : 0~1 사이)...

퍼셉트론인공신경망 최초의 알고리즘입력층과 출력층만으로 구성된 단층 퍼셉트론(single layer perceptron)의 개념입력층: 여러 개의 입력값(x1, x2,...,xn)을 받음출력층: 단일 출력값을 생성이진 분류(Binary Classification) 모델을 학습하기 위한 지도학습기반의 알고리즘단층 퍼셉트론단층 퍼셉트론은 입력층(x들)과 출력층만으로 구성되어 있으며, 각 입력값은 가중치(weight)와 곱해져 가중합을 계산가중치 (Weight): 각 입력값의 중요도를 나타내며, 학습 과정에서 조정된다. 가중치가 클수록 해당 입력값의 영향력이 커진다.편향 (Bias, b): 뉴런이 얼마나 쉽게 활성화되는지를 조절하는 변수다. 이는 가중합에 추가되어 뉴런의 활성화를 도와준다.x외에도 편향(bias..

딥러닝 개요딥러닝은 기계 학습 알고리즘의 한 종류이 알고리즘은 비선형 처리 유닛의 여러 층을 사용하여 특징 추출 및 변환을 수행각 층은 이전 층의 출력을 입력으로 사용하여 처리딥러닝 알고리즘은 지도 학습과 비지도 학습으로 나뉘며, 응용 분야에는 패턴 분석(비지도 학습)과 분류(지도 학습)가 포함됨딥러닝 알고리즘의 구조알고리즘은 다양한 층으로 구성되어 있으며, 각 층은 비선형 처리를 통해 데이터를 변환한다.이러한 구조는 복잡한 데이터 패턴을 학습하는 데 효과적이다.층의 깊이가 증가할수록 모델의 표현력이 향상된다.출력은 각 층의 가중치와 활성화 함수를 통해 결정된다.지도 학습과 비지도 학습딥러닝 알고리즘은 지도 학습과 비지도 학습으로 구분된다.지도 학습:입력 데이터와 그에 해당하는 정답(레이블)이 있는 데이..

정제 (Cleaning) : 데이터 사용 목적에 맞추어 노이즈를 제거 ⇨ 인간의 주관적인 생각이 아직까지 필요하긴 함 1) 대문자 vs 소문자 똑같은 단어여도, 대소문자를 구별하여 다른 언어로 처리되기 때문에, Language에서 L을 소문자 l로 바꾸면 같은 언어로 처리된다.BUT!!! US(United States)같은 경우, 소문자로 바꾸면 us(우리)로 되게 때문에 Cleaning할 때는 주의를 해야한다.즉, Cleaning을 하지 않도록 예외 처리를 걸어줘야한다.   2) 출현 횟수가 적은 단어의 제거키워드, 킬링워드가 아니면 차라리 지워버리는게 더 효율적이다.3) 길이가 짧은 단어, 지시(대)명사, 관사의 제거 추출 (Stemming): Stemming이란 어형이 변형된 단어로부터 접사 등을 ..

텍스트 전처리 과정 (3단계)토큰화 : 문장을 단어 기준으로 자르는 과정 → I / love / you / for / always / Do / n’t / be / afraid정제 및 추출 : 중요한 단어만 냅두고 불필요한 단어들은 다 자르는 과정 → I was wondering if you can help me on this problem인코딩 : 2단계에서 남겨진 단어들을 숫자로 바꾸는 과정 → [1,5], [1,3], [1,2,5], [1,0,0,0,0], [0,1,0,0,0] 언어의 형태소문장 : 화분에 예쁜 꽃이 피었다위 문장을 토큰화 진행 → 화분에 / 예쁜 / 꽃이 / 피었다.BUT 화분"에" 가 아닌 "은","이"등등 될 수 있기 때문에 이와 같은 단어들은 조사나 어미도 토큰화에서 분리를 해..

자연어 처리란 ?우선 자연어란, 일상 생활에서 사용하는 보편적인 언어이다. 즉, 자연어 처리(NLP)는 컴퓨터가 자연어를 처리하는 일이다.종류 : 음성 인식, 번역, 요약, 분류(스팸 메일 분류 : 광고성 문자, 느낌표 등등 컴퓨터가 잡아낼 수 있음) 자연어 처리가 활용되고 있는 예시들Chatbot : A program for InteractionSentiment Analysis : 텍스트에 녹아 있는 감성 또는 의견을 파악Tokenization : 단어의 최소한의 의미를 파악하는 쪼개기Named Entity Recognition : 텍스트로부터 주제 파악하기Normalization : 의도된 오타 파악하기Dependency Parsing : 문장 구성 성분의 분석SIRI : An assistant fo..