고양이 두 잔

목차 Chapter 4: 확률 모델 피팅(Fitting probability models) 이 장에서는 데이터 $\{\mathbf{x}_i\}_{i=1}^{I}$에 확률 모델을 피팅(fitting)하는 과정을 다룬다. 이 과정은 학습(learning)이라고도 불리며, 이는 모델의 매개변수 $\theta$에 대해 학습하는 것이기 때문이다. 또한 이 장에서는 학습된 모델을 사용해 새로운 데이터 $\mathbf{x}^*$의 확률을 계산하는 문제,  즉 예측 분포(predictive distribution)의 계산에 대해서도 다룬다. 이러한 모델 피팅 및 예측 문제를 해결하기 위한 세 가지 주요 접근 방식은 다음과 같다: 최대 우도 추정 (Maximum Likelihood, ML)최대 사후 확률 추정 (Maxi..

목차 베르누이 분포와 베타 분포는 켤례 관계다. 아주 당연하고 쉬운 말이지만 어쩐지 와닿지가 않는다. 해서 일부러 글을 따로 파서 설명을 정리해 보겠다. 핵심은 다음과 같다. 베르누이 분포는 데이터를 설명하고, 베타 분포는 그 베르누이 분포의 파라미터에 대한 불확실성을 설명한다. 1. 베르누이 분포: 이진 결과의 모델 베르누이 분포는 결과가 두 가지뿐인 실험을 모델링할 때 사용한다. 예를 들어:동전을 던졌을 때 앞면(1) 또는 뒷면(0)이미지에 얼굴이 있는가(1) vs 없는가(0)픽셀이 128보다 밝은가(1) vs 어두운가(0)확률 변수 $x \in {0, 1}$은 실패(0) 또는 성공(1)을 나타낸다. 이때, 성공이 일어날 확률을 $\lambda$라 하면, 분포는 다음과 같다: $$Pr(x=1)=λ,P..

목차 서론 2장에서 확률을 조작하는 추상적인 규칙들을 소개했다. 이러한 규칙들을 실제로 사용하려면, 먼저 구체적인 확률 분포를 정의해야 한다. 어떤 확률 분포 $Pr(x)$를 사용할지는 우리가 모델링하고자 하는 데이터 $x$의 도메인(domain)에 따라 달라진다. 표 3.1은 다양한 데이터 유형과 그에 대응하는 대표적인 확률 분포들을 정리한 것이다. 여기서 도메인이란 정의역(domain of definition)에서의 도메인이며, 이 경우에는 확률 변수 $x$가 가질 수 있는 값들의 집합, 즉 확률 분포 $Pr(x)$가 정의되는 값의 종류와 범위를 의미한다. 데이터 유형도메인 $x$분포 이름단변량, 이산형, 이진(binary)$x \in {0, 1}$베르누이 분포 (Bernoulli)단변량, 이산형, ..