고양이 두 잔

목차차근차근 배운 것이 아니라 빠르게 결론에 도달하려다 깨달은 것은 지식에 구멍이 너무도 많다는 것이다. 오늘은 CNN에 대해 공부 중 그런 생각이 들었다. 왜 ReLU는 중간층에서 사용되고 Softmax는 출력층에서만 사용되는가. 애초에 Softmax 함수가 활성화 함수는 맞는가. 이 글은 위 질문에 대한 짧은 방황의 결과이다. 너무 쉬운 질문이라고 생각하면 안 읽어도 된다! 어쨌거나 글을 시작한 김에 활성화 함수와 ReLU, Softmax 함수 등에 대해 짧게 다루며 Softmax 함수 자체에 대해 짧게 생각해 보겠다. 활성화 함수(Activation Function) 활성화 함수란 무엇인가? 그 일반적인 정의와 역할은 다음과 같다. 활성화 함수는 뉴런이 입력받은 값(로짓, logits)을 조정하여 ..

목차 딥러닝의 역사와 발전: 머신러닝에서 딥러닝까지의 여정 인공 신경망의 기본 구조와 중요성 활성화 함수(Activation Functions) 이해하기 손실 함수(Loss Functions)의 역할과 중요성 딥러닝에서의 최적화: 하강법과 경사하강법 확률적 경사 하강법(Stochastic Gradient Descent, SGD) 기울기 사라짐(Vanishing Gradient) 손실 함수와 최적화 컴퓨터 비전(Computer Vision) 합성곱 연산(Convolution) 합성곱 신경망(Convolutional Neural Network, CNN) 순환 신경망(Recurrent Neural Network, RNN) 순환 신경망의 발전(The Evolution of RNN) 오토 인코더(Autoencod..