* 밑바닥부터 시작하는 딥러닝 1
퍼셉트론 : 입출력을 갖춘 알고리즘. 입력을 주면 정해진 규칙에 따른 값을 출력하는데, 가중치와 편향을 매개변수로 설정한다.
편향(bias) : 뉴런이 얼마나 쉽게 활성화되느냐를 제어
가중치(weight) : 각 신호의 영향력을 제어
활성화 함수 : 입력 신호의 총합을 출력 신호로 변환하는 함수. 입력 신호의 총합이 활성화를 일으키는지 정한다.
단순 퍼셉트론 : 단층 네트워크에서 계단 함수를 활성화 함수로 사용한 모델
다층 퍼셉트론 : 신경망
시그모이드 함수 : 신경망에서 자주 이용하는 활성화 함수
ReLU 함수 : 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0 이하면 0을 출력
분류 : 데이터가 어느 클래스에 속하는지. 대부분 소프트맥스 함수 사용
회귀 : 입력 데이터에서 (연속적인) 수치를 예측하는 문제. 대부분 항등함수 사용
기계학습 문제는 분류와 회귀로 나뉘는데, 분류에는 소프트맥스 함수, 회귀에는 항등 함수를 일반적으로 사용한다.
항등함수 : 입력을 그대로 출력
소프트맥스 함수 : 출력은 0~1.0 사이의 실수
└출력의 총합은 1
└기계 학습의 학습, 추론 두 단계 중 추론(분류)를 수행 할 때 출력층의 소프트맥스 함수를 일반적으로 생략.
학습 과정에서는 출력층에서 소프트맥스 함수 사용
분류 과정에서
└출력층의 뉴런 수 = 분류하려는 클래스의 수
손실함수 : 신경망 학습에서 사용하는 지표, 이를 기준으로 최적의 매개 변수 값을 탐색