인공지능(AI)

[패턴인식] 컴퓨터 비전 소개 : Intro. Computer Vision

Intro. Computer Vision 목차 1. 컴퓨터 비전을 배우는 이유 2. 컴퓨터 비전 문제를 해결하는 방법 3. 시스텀 설계 4. 인접 학문 1. 컴퓨터 비전(CV)을 배우는 이유 팽창하는 응용 : 오락, 교통, 보안, 산업 등 다양한 분야로 응용되고 있음 시각은 오감 중에서 가장 강력한 인지 기능 CV는 컴퓨터를 이용하여 시각 기능을 갖는 기계장치를 만드는 기술 분야 2. 컴퓨터 비전 문제를 해결하는 방법 2.1 과학적 접근과 공학적 접근 Goal1. 사람의 시각에 맞먹는 인공 시각 만들기(for Science) 과학적 접근 방식으로, 사람 시각의 원리를 밝혀낸 다음 컴퓨터로 모방 뇌 과학의 주요 관심사로 지식 표현, 학습, 추론, 창작 같은 AI가 필수 역, 불량 문제와 다양한 변형 발생으..

[NLP] 워드투벡터(Word2Vec)

Word2Vec Model Word2Vec는 단어 간 유사도를 반영할 수 있도록 단어의 의미를 벡터화할 수 있는 방법이다. Word2Vec의 주요 아이디어는 "비슷한 분포를 가진 단어라면 비슷한 의미를 가질 것"이다 즉, 자주 같이 등장할수록 두 단어는 비슷한 의미를 가짐을 의미한다. Word2Vec은 Input, Hidden, Output Layer 3개의 층으로만 이루어져 학습이 빠르고 많은 단어 뭉치를 학습할 수 있어 성능이 좋다. Word2Vec 모델은 Continous Bag of Words(CBoW)와 Skip-Gram 두 가지 방식이 있다 Continous Bag of Words(CBoW) CBoW란? 주변에 있는 단어들을 가지고 중간에 있는 단어들을 예측하는 방법 즉, "The fat ca..

[NLP] 단어 표현 방법(Word Representation)

자연어처리에서 사용하는 단어의 표현 방법 국소 표현(Local Representation) 국소표현이란? 해당 단어 그 자체만 보고, 특정값을 매핑하여 단어를 표현하는 방법 국소표현의 종류 One-hot vector N-gram Count Based Bag-of-Word, BoW(DTM) : 단어의 빈도수를 카운트하여 단어를 수치화하는 표현 -> Bow란? 분산 표현(Continuous Representation) 분산 표현이란? 분산 표현 방법은 그 단어를 표현하고자 주변을 참고하여 단어를 표현하는 방법 분산 표현의 종류 Prediction Based Word2Vec(FastText) : 예측을 기반으로 단어의 뉘앙스를 표현 -> Word2Vec란? Doc2Vec: Word2Vec에서 확장된 개념 Co..

[NLP] 단어 표현 방법 : Bag-of-Word Model(Bow)

Bag-of-Word(BoW) Model 기계학습 알고리즘(MLA)을 자연어 처리 테스크에 사용할 때, 입력값인 텍스트는 그 자체로는 사용할 수 없다. 이산적인(discrete)한 텍스트 즉, 문자열을 연속적인(continuous) 모델이 연산할 수 있도록 숫자로 바꾸어주는 과정이 필요하다. 만약 문서 분류 작업(document classification task)을 수행한다고 했을 때, 각 문서는 예측 알고리즘의 input 값에 해당하며 분류 즉, 클래스 레이블이 output값이다. 알고리즘은 input값을 숫자로 이루어진 벡터들로 받으며, 따라서 문서를 고정된 크기의 벡터로 변환하는 작업이 필요하다 기계학습을 위해 텍스트로 이루어진 문서들을 백터화하는 간단하고 효과적인 방법은 Bag-of-Words ..

[ML] 사이킷런 클래스 SGDClassifier : 선형분류

SGDClassifier란? SGD(Stochastic Gradient Descent)를 이용한 정규화된 선형 분류 모델 계산값을 기반으로 계산값이 0보다 작으면 -1, 0보다 크면 1로 분류한다 이진 선형 분류기는 선, 평면, 초평면을 이용해 2개의 클래스를 구분하는 분류기이다 SGD(Stochastic Gradient Descent)란? NN(Neural Network)의 가중치(Weight)를 조정하는 과정에서 보통 경사하강법(Gradient Descent)을 사용한다. 이는 네트워크의 파라미터를 p라고 했을 때, 네트워크에서 내놓는 결과값과 실제 값 사이의 차이를 정의하는 손실 함수(loss function, 혹은 비용함수(cost fuction))의 값을 최소화하기 위해 기울기를 이용하는 것이다..

[ML] 모델 성능을 측정하는 네가지 지표

기계학습(ML : Mahine Learning) 모델의 성능을 측정하는 통계적 지표로는 다음과 같이 네 가지 종류가 존재한다 인식 성능 측정 Accuracy: 정확도 혼동 행렬(Confusion Matrix)을 이용한 방식 (또는 오차행렬이라고 부름) Recall : 재현율 Precision : 정밀도(정확율) F1-score : Recall, Precision의 산술평균 각 지표에 대한 공식을 알아보도록 하자 인식 성능 측정 Accuracy (정확도) 가장 보편적으로 간단하게 성능을 측정하는 방법으로 공식은 아래와 같다 Accuracy = (올바르게 예측된 데이터 수) / (전체 데이터 수) Accuracy의 문제점 데이터에 따라 매우 잘못된 통계 결과가 나올 수 있는데 예로 y label이 심각한 불..

경사하강법과 손실함수

선형 회귀(Linear Regression) 선형 회귀는 머신러닝 알고리즘 중 가장 간단하면서도 딥러닝의 기초가 되는 개념이다 1차 함수로 이해하는 선형 회귀 $y=ax+b$ : 선형 회귀는 1차 함수로 표현 가능하다. 위와 같이 1차 함수의 기울기(slope)는 a이고, 절편(intercept)은 b이다 선형 회귀는 기울기와 절편을 찾는 것이 목표 고등과정에서 배운 1차 함수의 경우 x에 따른 y값을 찾는데 집중한 반면, 선형 회귀에서는 이와 반대로 x, y가 주어졌을 때 기울기 a와 절편 b를 찾는데 집중한다. 그래프를 통한 선형 회귀의 문제 해결 과정 이해 그래프에 찍힌 (x,y)좌표로 기울기와 절편을 추정하여 1차 함수를 추정해내는 것으로 선형 회귀로 만든 모델 또한 이런 모델을 통해 새로운 점에..

[논문리뷰] Transformer(Attention is All you Need) 이해하기

본 글은 동빈나님의 와 유원준 외 1명님의 을 참고하여 작성했습니다 목차 서론 딥러닝 기반의 기계 번역 발전 과정 기존 Seq2Seq 모델들의 한계점 Seq2Seq with Attention Decoder 어텐션 시각화 본론 Transformer 트랜스포머의 동작 원리 인코더 임베딩 멀티헤드 어텐션,피드 포워드 잔여학습, 정규화 인코더와 디코더 1-1. 딥러닝 기반의 기계 번역 발전 과정 2021 기준으로 최신 고성능 모델들은 대부분 트랜스포머(Transformer) 아키텍처를 기반으로 하며, 트랜스포머를 기점으로 다양한 NLP Task들은 RNN을 사용하지 않고 어텐션(Attention) 기법을 사용하여 입력 시퀀스 전체에서 정보를 추출하는 방향으로 연구가 발전하게 됨 GPT, Generative Pr..