인공지능(AI)/자연어처리(NLP)

[논문리뷰] Transformer(Attention is All you Need) 이해하기

본 글은 동빈나님의 와 유원준 외 1명님의 을 참고하여 작성했습니다 목차 서론 딥러닝 기반의 기계 번역 발전 과정 기존 Seq2Seq 모델들의 한계점 Seq2Seq with Attention Decoder 어텐션 시각화 본론 Transformer 트랜스포머의 동작 원리 인코더 임베딩 멀티헤드 어텐션,피드 포워드 잔여학습, 정규화 인코더와 디코더 1-1. 딥러닝 기반의 기계 번역 발전 과정 2021 기준으로 최신 고성능 모델들은 대부분 트랜스포머(Transformer) 아키텍처를 기반으로 하며, 트랜스포머를 기점으로 다양한 NLP Task들은 RNN을 사용하지 않고 어텐션(Attention) 기법을 사용하여 입력 시퀀스 전체에서 정보를 추출하는 방향으로 연구가 발전하게 됨 GPT, Generative Pr..

[NLP 개념] 언어모델(Language Model)

언어모델이란? 단어들로 이루어진 문장에 대한 확률을 계산하는 일종의 언어에 대한 확률분포함수(Probability Distribution Function, PDF) 현재의 자연어 처리(Natural Language Processing, NLP)가 대세가 되기 전 가장 많이 사용된 개념으로, 처음에 Model을 구성하고 나면 그 다음부터는 굉장히 빠르게 문장의 확률을 계산, 현재 문장 다음에 올 단어를 예측 할 수 있으나 Out of vocabulary(OOV) 가 스무딩(Smoothing)과 같은 해결법에도 불구하고 큰 문제점으로 작용한다는 단점을 가지고 있다 하지만 NLP의 기본개념으로 언어모델을 필수로 꼽으므로 이번 게시글에서 다뤄보도록 하자 아래와 같이 영어문장이 있다고 하자 I don't like..

01 자연어처리 소개

목차 1 자연어처리 소개 1.1 자연어처리 소개 1.2 자연어처리가 어려운 이유 1.3 한국어 자연어처리가 어려운 이유 1.4 자연어처리 연구의 패러다임 1.5 딥러닝을 사용하는 자연어처리 연구 1.6 딥러닝을 사용하는 다른 연구 분야와 자연어처리 비교 1.1 자연어처리 소개 1) 자연어처리란? 자연어란? 기계어의 반대말로, 사람들이 생활하며 자연스럽게 발생하여 쓰이는 언어 자연어 처리란? 자연어를 그대로 컴퓨터로 처리하는 학문 분야 1. 언어학적 측면 : 언어의 규칙성, 변화 양상 파악 2. 전산학적 측면 : 자연어를 입출력으로 사용하는 컴퓨터 프로그램에 사용되는 처리 과정 - 자연어이해(NLU) : 사람이 이해하는 자연어를 컴퓨터가 이해할 수 있는 값으로 바꾸는 과정 - 자연어생성(NLG) : 컴퓨터..

08 텍스트 분류

목차 8 텍스트 분류 8.1 텍스트 분류 정의 8.2 RNN을 사용한 텍스트 분류 8.1 텍스트 분류 정의 텍스트 분류란? 텍스트 데이터를 입력으로 받아 지정된 카테고리에 대한 수치를 출력하는 것 예) 카테고리 분류, 주제 분류, 감성 분석 텍스트 분류란? (확률 관점에서) 문장이 주어질 때(x), 문장이 속할 카테고리의(y) 확률 분포 함수(p) 근사화 - 문장 x , 단어1 x_1, ...., 단어n x_n - ML에서의 MLE를 보면 P_data(y|x) : x(SMS)가있을 때 y(SPAM/HAM)에 속할 확률 - y label이 주어지므로 supervised learning - 이를 신만이 아는 분포 p(y|x)로 approximate하는 방법은 세타를 이용하는 것 -> p(y|x,Θ) 8.2 ..

06 순환 신경망(RNN)

목차 6.1 기본 순환 신경망 Vanilla recurrent neural network, RNN – 6.1.1 RNN 소개 – 6.1.2 RNN 구조 – 6.1.3 RNN 활용 사례 – 6.1.4 RNN 학습: Back-propagation through time(BPTT) 6.2 발전된 순환 신경망 Advanced RNN - 6.2.1 그라디언트 소실 문제 (gradient vanishing problem) - 6.2.2 Long short-term memory (LSTM) - 6.2.3 Gated recurrent unit (GRU) - 6.2.4 그라디언트 클리핑 (gradient clipping) 6.3 RNN 기반 자연어 생성 (PASS) 6.1.1 RNN 소개 : Recurrent neura..

05 어휘 분석

목차 5.1 형태소 분석 5.1.1 형태소 분석 절차 5.1.2 영어 형태소 분석 5.1.3 한국어 형태소 분석 라이브러리 5.2 품사 태깅 5.2.1 품사 태깅이란? 5.2.2 형태론적 중의성 해결 방법 5.2.3 품사 태깅 접근법: 규칙, 통계, 딥러닝 기반 5.1 형태소 분석 어휘 분석 - 단어의 구조를 식별하고 분석을 통한 어휘의 의미와 품사에 관한 단어 수준의 연구 형태소 분석 - 형태소를 자연어의 제약 조건과 문법 규칙에 맞춰 분석하는 것 5.1.1 형태소 분석 절차 형태소 분석 절차 1. 형태소로 분리 2. 형태론적 변형이 일어난 형태소의 원형 찾기 3. 단어와 사전들 사이의 결합 조건에 따라 옳은 분석 후보 선택 1. 형태소로 분리 - 처리 대상인 어절(단어)는 하나 이상의 형태소가 연결된..

04 텍스트의 전처리

목차 4. 텍스트의 전처리 4.0 NLP 프로젝트 워크플로우 4.1 비정형 데이터내의 오류 4.2 텍스트 문서의 변환 4.3 띄어쓰기 교정 방법 4.4 철자 및 맞춤법 교정 방법 4.0 NLP 프로젝트 워크플로우 4.1 비정형 데이터내의 오류 비정형 데이터란? - 일정한 규격이나 형태를 지닌 숫자 데이터와 달리 그림이나 영상, 문서처럼 형태와 구조가 다른 구조화되지 않은 데이터 비정형 데이터의 정형화 - 분석을 위해서 정형화가 요구됨. 해당 과정을 전처리라고 함 - 세상에 존재하는 대부분의 가공되지 않은 데이터는 비정형 데이터의 형식이므로 해당 과정은 필수적 4.2 텍스트 문서의 변환 전처리 단계 1. 파일로부터 텍스트 추출 2. 문서파일 -> 문서 - 목표 어휘언어의 문자만 남김 - 특수 문자 및 불필..

03 언어학의 기본 원리

목차 3. 언어학의 기본 원리 3.1 언어학 개요 3.2 음절, 형태소, 어절, 품사 3.3 구구조와 의존 구조 3.4 의미론과 화용론 3.1 언어학 개요 언어학의 기본적인 원리 - 언어를 이루는 단위 : 음절, 형태소, 어절, 품사 - 언어의 구조 : 구구조(Phrase structure), 의존 구조 3.2 음절, 형태소, 어절, 품사 음절 : Syllable - 언어를 듣고 말할 때, 하나의 덩어리로 취급되는 가장 작은 발화의 단위 - 한국의 음절은 기본적으로 초성(자음), 중성(모음), 종성(자음)으로 이루어짐 - 말소리의 단위이므로 엄밀히 따지면 소리나는 대로 적었을 때의 한 글자를 의미 형태소 : Morpheme - 언어에서 의미를 갖는 가장 작은 단위 - 실질 형태소(어휘)와 형식 형태소(문..