컴퓨터 비전
- 점잡음 영상에는 중간값 필터를 취하면 좋다.
- 소벨과 라플라스 연산자는 각각 1차, 2차 미분에 의한 에지검출 연산자이다.
- 거리측정자
- 일반적인 거리측정자: 해밍 거리, 맨해튼 거리, 유클리드 거리
- 군집의 평균벡터와 공분산행렬을 고려한 거리측정자: 마할라노비스 거리
- 베이즈 분류기
- 매개변수 방식(최대가능도추정 등): 패턴의 분포가 잘 알려진 모델(가우시안 모델 등)을 따른다고 가정한다.
- 비매개변수 방식(k-NN 등): 유사한 입력은 유사한 출력을 낸다고 가정한다. 즉, 근접한 패턴들은 같은 클래스에 속할 가능성이 높다고 추정한다. 많은 양의 학습표본을 기억해야 하고, 많은 거리계산이 필요하므로 계산복잡도가 높다.
- 분류기의 평가 기준
- 정확도(accuracy): 분류기가 맞게 분류한 데이터 / 전체 데이터
- 정밀도(precision): 분류기가 (+)로 맞게 분류한 데이터 / 분류기가 (+)로 분류한 데이터
- 재현율(recall): 분류기가 (+)로 맞게 분류한 데이터 / 전체 (+)데이터
- F1 점수: 정밀도와 재현율의 조화평균
머신러닝
- 학습은 모델의 출력값이 원하는 출력값과 같아지도록 모델을 변화시키는 과정이다.
- 지도학습용 학습표본들은 입력 데이터와 라벨로 구성된다.
- 비지도학습용 학습표본들은 라벨 없이 데이터로만 구성된다.
- 강화학습은 보상 체계를 통해 모델을 변화시킨다.
- 경쟁학습은 입력 데이터에 반응할 권한을 노드 간 경쟁을 통해 얻는 식으로 모델을 변화시킨다.
- 기계적 학습: 단순히 사전에 저장된 지식을 사용하도록 하는 것
- 귀납적 학습: 학습표본들을 일반화한 가설을 형성하도록 하는 것이다.
- 선형 회귀에서는 독립변수와 종속변수의 관계를 선형함수로 모델링하고, 오차제곱평균(MSE)을 비용함수로 사용한다.
- 로지스틱 회귀에서는 독립변수의 값에 대해 종속변수가 0-1 사이의 값을 내도록 모델링하고, 교차 엔트로피를 비용함수로 사용한다.
- 다항 로지스틱 회귀는 식별하려는 클래스가 3개 이상인 경우 사용하며, 각 클래스에 대해 학습된 선형 판별함수에 소프트맥스 함수를 적용하여 각 클래스별로 0-1 사이의 값을 구한다.
- 군집화: 주어진 패턴분포를 수 개의 서브클래스로 분할하는 비지도학습 방식
- k-평균 군집화: 학습표본 집합을 대표하는 k개의 평균벡터를 찾는 방식
인공신경망
- 단층 퍼셉트론으로는 직선 형태의 결정경계만 학습할 수 있으며, XOR 문제를 해결하지 못한다.
- 다층 퍼셉트론의 학습방법으로는 지도학습(오차역전파)이 사용되며, 시그모이드와 같이 미분 가능한 활성함수를 사용한다. 이를 통해 은닉층의 연결가중치를 학습할 수 있으며, 선형분리가 불가한 문제를 해결할 수 있다.
- 제한볼츠만머신(RBM)은 학습표본 집합의 확률분포를 학습하여 특징 추출기의 역할을 할 수 있는 확률적 모델이다. 가시유닛층과 은닉유닛층 간 연결은 완전연결이다. 층내연결은 없다.
- 자기조직화지도(SOM)는 경쟁학습을 통해 승자 노드를 학습표본에 가깝게 이동시키는 모델이다.
- LVQ는 SOM과 유사하나 지도학습 방식으로 대표벡터를 학습하는 모델이다.
딥러닝
- 입력층과 출력층 사이에 많은 은닉층이 연결된 심층신경망을 학습시키는 기술을 딥러닝이라 한다.
- 시그모이드는 입력이 큰 영역에서 미분값이 0에 근접하므로(경사소멸문제) ReLU를 활성함수로 사용한다.
- 합성곱신경망(CNN)은 동물의 시각피질을 본뜬 모델이다.
- 합성곱층은 영상에서 에지, 선 등 시각 특징을 검출한다.
- 합성곱층의 필터 개수가 곧 출력의 채널 수가 된다. (8개 필터 = 8채널)
- 합성곱층의 패딩: 모서리에 필터를 적용하기 위한 패딩의 크기
- 합성곱층의 스트라이드: 필터 적용 시 필터 간 거리
- 풀링층은 합성곱층의 출력을 서브샘플링하여 축소된 출력을 만든다.
- ReLU층은 활성함수인 ReLU를 적용한다.
- 완전연결층은 피드포워드 신경망을 이용해 고수준 추론을 한다.
- ResNet은 매우 많은 층을 가진 모델을 설계하는 경우 오히려 학습 품질이 떨어지는 문제를 개선하기 위해 잔차블록(입력이 바로 출력으로 연결되는 스킵 연결이 추가된 블록)을 이용하는 모델이다.
- 순환신경망(RNN)은 시퀀스의 패턴을 인식하는 모델이다.
- 학습에 BPTT(Back Propagation Through Time)가 사용된다.
- 사이클을 형성하는 순환연결을 가진다.
- 앞쪽 시퀀스의 정보 손실 문제를 개선하기 위한 LTSM, GRU 모델이 있다.
- seq2seq는 시퀀스를 입력으로 받아 다른 시퀀스로 변환하는 인코더-디코더이다.
- 트랜스포머는 인코더-디코더 구현에 RNN이 아닌 셀프어텐션 매커니즘을 사용하는 모델이다. GPT, BERT 등이 있다.