고양이 두 잔

목차 기댓값(expectation)은 확률론에서 매우 중요한 개념이고, 가장 자주 등장하는 개념이다.사실 다소 뻔한 개념이기는 한데, 그래도 오랜만에 만났으니 만난 김에 짧게 정리하고 가기로. 1. 기댓값이란? 기댓값 = 확률적으로 기대되는 평균값어떤 확률 변수 $X$가 있다고 할 때,여러 번 반복해서 관측하면 평균적으로 어떤 값이 나올지를 말해주는 수치다.즉, 기댓값은 무작위성이 있는 상황에서 "평균적으로 무엇이 일어날지를 요약한 값"이다.2. 수학적으로는 이렇게 정의된다이산 확률 변수 (예: 주사위, 동전)  $$\text{E}[X]=\sum_x x⋅Pr(X=x)$$  → 가능한 모든 값 $x$에 대해, (그 값이 나올 확률) $\times$ (그 값 자체)를 다 더한 것이다.연속 확률 변수 (예: 키,..

목차  예제 설정여섯 면이 있는 주사위를 여러 번 던졌다고 하자.우리는 이 주사위가 공정한지(모든 면이 동일한 확률로 나오는지) 모르며,데이터를 통해 주사위의 면별 확률 분포 $\theta = [\theta_1, \dots, \theta_6]$를 추정하고 싶다.1. Maximum Likelihood (ML)가정사전 지식 없음.모든 던지기 결과는 서로 독립. 관측 데이터주사위를 60번 던졌더니, 아래와 같은 결과가 나왔다고 하자:면관측 횟수110210310410510610  추정 방법각 면이 나올 확률을 최대화하는 $\theta$를 찾음: $$\hat{\theta}_{\text{ML}}= \left [  \frac{10}{60},\frac{10}{60},\frac{10}{60},\frac{10}{60},\..

목차 헷갈린다. MAP에서도 Dirichlet 분포를 쓰고, Bayesian도 Dirichlet 분포를 쓰는데,결국 둘이 똑같은 거 아닌가?에 대한 핵심 답변은 우선 다음과 같다: MAP과 Bayesian은 사전(prior)은 같더라도, 사후(posterior)를 어떻게 다루느냐가 다르다.MAP은 사후 확률 분포의 최댓값 하나만 사용,Bayesian은 전체 분포를 유지한다. 공통점항목MAPBayesian사전(prior) 사용✅ 예 (예: Dirichlet)✅ 예 (동일하게 사용 가능)사전이 반영된 추론✅✅즉, "사전이 있다"는 점에서는 둘 다 Bayesian 방식이다. 그래서 MAP도 베이지안 추론의 일종이라고 할 수는 있다.하지만! Bayesian 접근이 더 일반적이고, MAP은 그 안의 특수한 요약 ..

목차 Chapter 4: 확률 모델 피팅(Fitting probability models) 이 장에서는 데이터 $\{\mathbf{x}_i\}_{i=1}^{I}$에 확률 모델을 피팅(fitting)하는 과정을 다룬다. 이 과정은 학습(learning)이라고도 불리며, 이는 모델의 매개변수 $\theta$에 대해 학습하는 것이기 때문이다. 또한 이 장에서는 학습된 모델을 사용해 새로운 데이터 $\mathbf{x}^*$의 확률을 계산하는 문제,  즉 예측 분포(predictive distribution)의 계산에 대해서도 다룬다. 이러한 모델 피팅 및 예측 문제를 해결하기 위한 세 가지 주요 접근 방식은 다음과 같다: 최대 우도 추정 (Maximum Likelihood, ML)최대 사후 확률 추정 (Maxi..

목차 베르누이 분포와 베타 분포는 켤례 관계다. 아주 당연하고 쉬운 말이지만 어쩐지 와닿지가 않는다. 해서 일부러 글을 따로 파서 설명을 정리해 보겠다. 핵심은 다음과 같다. 베르누이 분포는 데이터를 설명하고, 베타 분포는 그 베르누이 분포의 파라미터에 대한 불확실성을 설명한다. 1. 베르누이 분포: 이진 결과의 모델 베르누이 분포는 결과가 두 가지뿐인 실험을 모델링할 때 사용한다. 예를 들어:동전을 던졌을 때 앞면(1) 또는 뒷면(0)이미지에 얼굴이 있는가(1) vs 없는가(0)픽셀이 128보다 밝은가(1) vs 어두운가(0)확률 변수 $x \in {0, 1}$은 실패(0) 또는 성공(1)을 나타낸다. 이때, 성공이 일어날 확률을 $\lambda$라 하면, 분포는 다음과 같다: $$Pr(x=1)=λ,P..

목차 서론 2장에서 확률을 조작하는 추상적인 규칙들을 소개했다. 이러한 규칙들을 실제로 사용하려면, 먼저 구체적인 확률 분포를 정의해야 한다. 어떤 확률 분포 $Pr(x)$를 사용할지는 우리가 모델링하고자 하는 데이터 $x$의 도메인(domain)에 따라 달라진다. 표 3.1은 다양한 데이터 유형과 그에 대응하는 대표적인 확률 분포들을 정리한 것이다. 여기서 도메인이란 정의역(domain of definition)에서의 도메인이며, 이 경우에는 확률 변수 $x$가 가질 수 있는 값들의 집합, 즉 확률 분포 $Pr(x)$가 정의되는 값의 종류와 범위를 의미한다. 데이터 유형도메인 $x$분포 이름단변량, 이산형, 이진(binary)$x \in {0, 1}$베르누이 분포 (Bernoulli)단변량, 이산형, ..

목차 들어가며 감마 함수는 정수 팩토리얼($n!$) 개념을 실수(혹은 복소수) 영역으로 일반화한 함수이다.  확률 분포 이론에서 자주 등장하며, 특히 베타 분포(Beta distribution), 감마 분포(Gamma distribution),  디리클레 분포(Dirichlet distribution) 등에서 중심적인 역할을 한다. 좀 더 구체적으로는 머신러닝을 비롯한 확률론 기반 모델에서는 감마함수를 양의 실수영역까지만 확장해서 사용한다. 당연하다면 당연하게도 음수나 복소수의 경우엔 확률 분포가 성립하지 않거나 정규화 상수가 무의미해지기 때문이다. 정의 양의 실수 $z > 0$에 대해 감마 함수는 다음과 같이 정의된다:  $$\Gamma(z)=\int^\infty_0t^{z-1}e^{-t}dt$$  이는 ..

목차 들어가며 비전 인공지능에 대한 책을 공부하던 중 이런 문장을 만났다:"모델을 데이터에 피팅할 때, 그 피팅의 불확실성을 확률 분포로 표현한다." "파라미터 위에 또 하나의 확률 분포가 존재한다. 이를 하이퍼파라미터로 제어한다."  이건 또 무슨 말인가. 모델을 만들었으면 끝이지 왜 또 확률 분포가 등장하는 것인가. 이 글에서는 위 문장의 뜻을 내가 알아들을 수 있는 수준으로 파헤쳐본다. 비전 인공지능 모델 = 확률 모델 시각 인공지능, 즉 컴퓨터 비전 모델은 결국 이런 형태로 표현된다:  $$Pr(y∣x;θ)$$  $x$: 입력 이미지 (예: 강아지 사진)$y$: 예측 결과 (예: "강아지" vs "고양이")$\theta$: 모델 파라미터 (예: 신경망 weight)즉, 확률 모델이란 "입력 $x$가 ..

목차 생각해 보면 대학원을 다닐 때도 pdf의 의미에 대해선 크게 관심이 없었다. 그냥 이런저런 성질을 가지고 있고 이렇게 쓴다.. 쓰면 되지 뭐.. 하고 썼는데 10년이나 넘게 지나 다시 마주친 건 운명이라는 생각이 들어서 베이즈 정리와 함께 제대로 공부하고 넘어가기로 했다. 10년 후의 나에게 도움이 되기를! 확률 밀도 함수(Probability Density Function, pdf) 확률 밀도 함수는 연속 확률 변수의 확률 분포를 수학적으로 표현하는 가장 핵심적인 도구이다. 확률 밀도 함수 $Pr(x)$는 확률 변수 $x$가 특정 값을 중심으로 얼마나 "밀집되어" 있는지를 나타내는 함수이다. 즉, $x$가 특정 값 근처에서 관측될 가능성의 상대적 크기를 나타낸다.하지만 중요한 점은 다음과 같다: ..

목차 이 챕터에서는 확률론의 핵심 개념을 간략히 정리한다. 개념의 수는 많지 않으며, 각각을 개별적으로 보면 비교적 단순하다. 그러나 이 개념들이 결합되면 불확실성을 기술하는 강력한 언어가 된다. 2.1 확률 변수 확률 변수 $x$는 불확실한 양을 나타낸다. 이는 동전을 던지는 실험의 결과처럼 특정 실험의 결과일 수도 있고, 온도 측정과 같이 변동하는 물리적 속성을 측정한 값일 수도 있다. 동일한 실험을 여러 번 반복하여 $\{x_i\}^{I}_{i=1}$와 같은 관측값을 얻으면, 각 시행에서 서로 다른 값이 나올 수 있다.  그러나 특정 값이 더 자주 나타날 수도 있다. 이러한 정보를 확률 분포 $Pr(x)$가 표현한다. 확률 변수는 이산형(discrete) 또는 연속형(continuous) 일 수 있..