코딩스뮤:)

[이론] 우선순위 큐 (Priority Queue)

우선순위 큐란? 일반적인 큐는 선입선출(FIFO) 원칙에 의하여 먼저 들어온 데이터가 먼저 나가게 되는데, 우선순위 큐는 데이터들이 우선순위를 가지고 있고 우선순위가 높은 데이터가 먼저 나가게 된다 우선 순위 큐는 최소 우선 순위, 최대 우선 순위 2가지로 구분할 수 있다 최소 우선순위 큐 : 가장 우선 순위가 낮은 요소를 삭제 최대 우선순위 큐 : 가장 우선 순위가 높은 요소를 삭제 스택 vs 큐 vs 우선순위 큐 자료구조 삭제되는 요소 스택 가장 최근에 들어온 데이터 큐 가장 먼저 들어온 데이터 우선순위 큐 가장 우선순위가 높은 데이터 우선순위 큐의 추상 자료형(ADT) 객체 : n개의 element형의 우선순위를 가진 요소들의 모임 연산 create() ::= 우선순위 큐를 생성 init(q) ::..

[이론] 힙(Heap)

힙(Heap)란?여러개의 값들 중에서 가장 큰 값이나 가장 작은 값을 빠르게 찾아내도록 만들어진 자료구조로  최대 힙(max heap)와, 최소 힙 (min heap)두 가지 종류로 나뉘게 된다최대 힙 : 부모 노드의 키 값이 자식 노드의 키 값보다 크거나 같은 완전 이진 트리최소 힙: 부모 노드의 키 값이 자식 노드의 키 값보다 작거나 같은 완전 이진 트리 최대 힙과 최소 힙은 항상 아래의 조건이 성립하게 된다최대 힙 : $key(부모노드) >= Key(자식노드)$최소 힙 : $key(부모노드)  힙의 특징힙의 목적은 삭제 연산이 수행될 때마다 가장 큰/작은 값을 찾아내기만 하면 된다(가장 큰/작은 값은 루트 노드에 있음) 따라서 힙 안에서 데이터들은 느슨한 정렬 상태를 유지한다 즉, 전체 데이터를 정..

[ML] 모델 성능을 측정하는 네가지 지표

기계학습(ML : Mahine Learning) 모델의 성능을 측정하는 통계적 지표로는 다음과 같이 네 가지 종류가 존재한다 인식 성능 측정 Accuracy: 정확도 혼동 행렬(Confusion Matrix)을 이용한 방식 (또는 오차행렬이라고 부름) Recall : 재현율 Precision : 정밀도(정확율) F1-score : Recall, Precision의 산술평균 각 지표에 대한 공식을 알아보도록 하자 인식 성능 측정 Accuracy (정확도) 가장 보편적으로 간단하게 성능을 측정하는 방법으로 공식은 아래와 같다 Accuracy = (올바르게 예측된 데이터 수) / (전체 데이터 수) Accuracy의 문제점 데이터에 따라 매우 잘못된 통계 결과가 나올 수 있는데 예로 y label이 심각한 불..

경사하강법과 손실함수

선형 회귀(Linear Regression) 선형 회귀는 머신러닝 알고리즘 중 가장 간단하면서도 딥러닝의 기초가 되는 개념이다 1차 함수로 이해하는 선형 회귀 $y=ax+b$ : 선형 회귀는 1차 함수로 표현 가능하다. 위와 같이 1차 함수의 기울기(slope)는 a이고, 절편(intercept)은 b이다 선형 회귀는 기울기와 절편을 찾는 것이 목표 고등과정에서 배운 1차 함수의 경우 x에 따른 y값을 찾는데 집중한 반면, 선형 회귀에서는 이와 반대로 x, y가 주어졌을 때 기울기 a와 절편 b를 찾는데 집중한다. 그래프를 통한 선형 회귀의 문제 해결 과정 이해 그래프에 찍힌 (x,y)좌표로 기울기와 절편을 추정하여 1차 함수를 추정해내는 것으로 선형 회귀로 만든 모델 또한 이런 모델을 통해 새로운 점에..

[논문리뷰] Transformer(Attention is All you Need) 이해하기

본 글은 동빈나님의 와 유원준 외 1명님의 을 참고하여 작성했습니다 목차 서론 딥러닝 기반의 기계 번역 발전 과정 기존 Seq2Seq 모델들의 한계점 Seq2Seq with Attention Decoder 어텐션 시각화 본론 Transformer 트랜스포머의 동작 원리 인코더 임베딩 멀티헤드 어텐션,피드 포워드 잔여학습, 정규화 인코더와 디코더 1-1. 딥러닝 기반의 기계 번역 발전 과정 2021 기준으로 최신 고성능 모델들은 대부분 트랜스포머(Transformer) 아키텍처를 기반으로 하며, 트랜스포머를 기점으로 다양한 NLP Task들은 RNN을 사용하지 않고 어텐션(Attention) 기법을 사용하여 입력 시퀀스 전체에서 정보를 추출하는 방향으로 연구가 발전하게 됨 GPT, Generative Pr..

[파이썬 클린코드] Ch04.SOLID 원칙

해당 게시글은 책의 4장을 참고하여 작성되었습니다 Chapter 04. SOLID 원칙 SOLID란? 이해하기 쉽고 유연하며 유지 보수가 쉬운 SW 개발을 위한 다섯가지 SW 설계 원칙 약어원칙한글 명칭 SRP Single Responsibility Principle 단일 책임 원칙 OCP Open-Closed Principle 개방-폐쇄 원칙 LSP Liskov Substitution Principle 리스코프 치환 원칙 ISP Interface Segregation Principle 인터페이스 분리 원칙 DIP Dependency Inversion Principle 의존 역전 원칙 4장의 목표 SW 디자인에서 SOLID 원칙을 익힌다 SRP을 따르는 컴포넌트를 디자인한다 OCP을 통해 유지보수성을 뛰..

[NLP 개념] 언어모델(Language Model)

언어모델이란? 단어들로 이루어진 문장에 대한 확률을 계산하는 일종의 언어에 대한 확률분포함수(Probability Distribution Function, PDF) 현재의 자연어 처리(Natural Language Processing, NLP)가 대세가 되기 전 가장 많이 사용된 개념으로, 처음에 Model을 구성하고 나면 그 다음부터는 굉장히 빠르게 문장의 확률을 계산, 현재 문장 다음에 올 단어를 예측 할 수 있으나 Out of vocabulary(OOV) 가 스무딩(Smoothing)과 같은 해결법에도 불구하고 큰 문제점으로 작용한다는 단점을 가지고 있다 하지만 NLP의 기본개념으로 언어모델을 필수로 꼽으므로 이번 게시글에서 다뤄보도록 하자 아래와 같이 영어문장이 있다고 하자 I don't like..

[ML] 은닉 마르코프 모델 : Hidden Markov Models(HMM)

ratgos님의 blog 게시글을 참고하여 작성되었습니다 Hidden Markov Models 은닉 마르코프 모델, 혹은 은닉 마코프 모델이라고 불리는 HMM은 순차적인 데이터를 다루는데 강점을 지닌 모델로 개체명 인식(NER), 품사 태깅(POS tagging)등 단어의 연쇄로 나타나는 언어구조 처리에 과거 많은 주목을 받았던 기법이다 마코프 체인(Markov chain) : HMM이 전제로 한 모델 Markov chain은 Markov Property을 지닌 이산확률과정을 가리키며, 러시아어 문헌에 나오는 글자들의 순서에 관한 모델을 구축하기위해 처음 제안된 개념이다 한 상태의 확률은 단지 그 이전 상태에만 의존한다는 것이 Markov chain의 핵심이다 즉, 한 상태에서 다른 상태로의 전이는 그동..