고양이 두 잔

목차차근차근 배운 것이 아니라 빠르게 결론에 도달하려다 깨달은 것은 지식에 구멍이 너무도 많다는 것이다. 오늘은 CNN에 대해 공부 중 그런 생각이 들었다. 왜 ReLU는 중간층에서 사용되고 Softmax는 출력층에서만 사용되는가. 애초에 Softmax 함수가 활성화 함수는 맞는가. 이 글은 위 질문에 대한 짧은 방황의 결과이다. 너무 쉬운 질문이라고 생각하면 안 읽어도 된다! 어쨌거나 글을 시작한 김에 활성화 함수와 ReLU, Softmax 함수 등에 대해 짧게 다루며 Softmax 함수 자체에 대해 짧게 생각해 보겠다. 활성화 함수(Activation Function) 활성화 함수란 무엇인가? 그 일반적인 정의와 역할은 다음과 같다. 활성화 함수는 뉴런이 입력받은 값(로짓, logits)을 조정하여 ..