베이즈 정리(Bayes' theorem)

목차

• 베이즈 정리?
• 수학적 표현
• 용어 정리
  • $Pr(y|x)$: 사후 확률 (posterior probability)
  • $Pr(x|y)$: 우도 (likelihood)
  • $Pr(y)$: 사전 확률 (prior probability)
  • $Pr(x)$: 증거 (evidence) 또는 정규화 상수 (normalizing constant)
• 수학적 의미
• 실제적 의미: 사건 이후, 원인의 가능성
• 한계: 사전 확률(prior probability)이 필요하다는 점
• 빅데이터(Big Data)와의 연결
• 비전 인공지능(Computer Vision in AI)과 베이즈 정리
• 정리

 

베이즈 정리?

 

베이즈 정리란, 나무위키에 따르면 다음과 같은 정의를 가지고 있다.

 

어떤 사건이 서로 배반하는 원인 둘에 의해 일어난다고 할 때,
실제 사건이 일어난 후 그것이 두 원인 중 하나일 확률을 구하는 정리.

 

이를 좀 더 일반화하면 다음과 같은 정의가 가능하다:

 

어떤 사건 $x$가 발생했을 때, 이 사건을 설명할 수 있는 여러 가능한 원인들 $y_1, y_2, ..., y_n$중에서
어느 원인이 실제로 발생했을 가능성이 가장 높은가? 에 대한 확률적 답변을 제공하는 정리

 

즉, 베이즈 정리는 관측 결과(result)를 통해 가능한 원인(cause)의 확률을 계산하는 도구이다. 

 

이는 사건이 일어난 이후, 그 사건이 어떤 원인에 의해 발생했는지를 추론하는 과정이다.

 

수학적 표현

 

베이즈 정리는 아래의 식으로 표현된다:

 

$$Pr(y|x) = \frac{Pr(x|y)Pr(y)}{Pr(x)}$$

 

이 수식은 결과 x가 주어졌을 때 원인 y의 확률을 계산하는 방법을 제시한다.

 

즉, 관측 결과(observation)로부터 원인(cause)을 추론(infer)하는 것이다.

 

수학적으로는 조건부 확률(conditional probability)의 곱셈 법칙과

 

주변 확률(marginal probability)의 정의로부터 유도되며,

 

확률 공간 내에서 정보가 한 방향(원인 → 결과)에서 주어졌을 때, 반대 방향(결과 → 원인)으로 추론하는 수단이다.

 

용어 정리

 

$Pr(y|x)$: 사후 확률 (posterior probability)

 

관측값 x가 주어졌을 때 사건 y가 참일 가능성.

우리가 실제로 구하고 싶은 값이다.

예: "이 이미지가 고양이일 확률", "이 픽셀이 경계선일 확률" 등.

 

$Pr(x|y)$: 우도 (likelihood)

 

y가 주어졌을 때 x가 관측될 가능성.

즉, "고양이라면 이런 이미지가 나타날 확률" — 모델의 관측 생성 능력을 의미한다.

 

$Pr(y)$: 사전 확률 (prior probability)

 

데이터를 보기 이전에 우리가 사건 y에 대해 갖는 믿음.

예: "일반적으로 고양이 이미지보다 개 이미지가 더 많이 존재한다"는 정보.

 

$Pr(x)$: 증거 (evidence) 또는 정규화 상수 (normalizing constant)

 

관측된 데이터 x가 전체적으로 발생할 확률.

 

모든 가능한 $y$에 대해 $\sum_y Pr(x|y)Pr(y)$ 또는 $\int Pr(x|y)Pr(y)dy$로 계산된다.

 

수학적 의미

 

베이즈 정리는 관측된 정보(x)에 기반하여, 가능한 원인들(y)의 확률을 업데이트(update)하는 수단이다. 

 

이를 통해 기존의 믿음(사전 확률)을 새로운 데이터에 따라 정량적으로 조정(update)할 수 있다. 

 

즉, "지금 알고 있는 정보에 비추어, 어떤 사건이 실제일 가능성은 얼마나 되는가?"를 계산하는 식이다.

 

실제적 의미: 사건 이후, 원인의 가능성

 

직관적으로, 베이즈 정리는 사건이 발생한 후, 그것이 어떤 원인에 의해 발생했을 가능성을 계산하는 도구다. 

 

컴퓨터 비전(computer vision)에서는 다음과 같은 방식으로 적용된다:

• x: 입력 이미지(input image)
• y: 이미지의 라벨(label; 예: 고양이, 개, 자동차 등)

모델은 훈련 데이터(training data)로부터 $Pr(x|y)$와 $Pr(y)$를 학습하고, 새로운 이미지 $x$에 대해

 

"이 이미지가 고양이일 사후 확률 $Pr(y=cat|x)$"을 계산한다.

 

한계: 사전 확률(prior probability)이 필요하다는 점

 

말한 것처럼, 베이즈 정리는 $Pr(y)$라는 사전 확률이 있어야만 $Pr(y|x)$를 계산할 수 있다.

 

만약 사전 확률이 전혀 주어지지 않거나, 잘못된 값이라면, 사후 확률 또한 왜곡된다.

 

그러나 이 한계는 사전 확률을 데이터 기반으로 추정(estimate)하거나, 

 

경험적으로 반복적으로 보정하는 베이지안 업데이트(Bayesian updating) 과정을 통해 극복될 수 있다.

 

대부분의 통계는 전수조사가 불가능하기 때문에 사전 확률을 알 수 없어 베이즈 정리가 쓸모가 없었지만,

 

최근 빅테이터와의 연결을 통해 그 의미가 재발견되면서 필수적인 도구로 자리매김하고 있다.

 

빅데이터(Big Data)와의 연결

 

베이즈 정리는 데이터의 양이 많아질수록 더 정밀한 추론이 가능해진다.

 

이는 사전 확률 $Pr(y)$나 우도 $Pr(x|y)$를 경험적 분포(empirical distribution)로부터 정밀하게 추정할 수 있기 때문이다. 

 

실제로 데이터가 풍부한 상황에서는:

 

• 사전 확률은 클래스 빈도(class frequency)로부터 직접 계산
• 우도는 생성 모델이나 신경망을 통해 근사(approximate)
• 증거 $Pr(x)$는 정규화 항으로서 생략 가능

즉, 베이즈 정리는 빅데이터를 활용한 추론 체계의 수학적 근간이 된다.

 

비전 인공지능(Computer Vision in AI)과 베이즈 정리

 

컴퓨터 비전에서는 이미지라는 불완전하고 고차원(high-dimensional)적인 입력으로부터 

 

객체 인식(object recognition), 경계 추출(edge detection), 포즈 추정(pose estimation), 행동 예측(action prediction) 등 

 

다양한 불확실한 문제를 해결해야 한다. 이때 베이즈 정리는 다음과 같은 역할을 한다:

 

1. 사후 확률 기반 분류(Classification by Posterior)
   이미지 $x$에 대해 특정 클래스 $y$가 존재할 확률 $Pr(y∣x)$을 계산하고, 이 확률이 가장 높은 클래스를 선택한다.
2. 불확실성 정량화(Uncertainty Quantification)
   딥러닝 기반의 모델도 출력 확률 분포를 통해 결과에 대한 신뢰도(confidence)를 표현한다. 이는 베이즈 정리의 직접적 응용이다.
3. 베이지안 네트워크(Bayesian networks) 및 그래픽 모델(Probabilistic graphical models)
   변수들 간의 조건부 독립성(conditional independence)을 구조화하여 추론 성능을 높인다.
4. 사전 지식 활용(Knowledge Incorporation)
   데이터가 부족한 상황에서 전문가 지식이나 도메인 규칙을 사전 확률로 반영해 더 나은 추론 결과를 도출할 수 있다.

정리

 

• 베이즈 정리는 관측 결과로부터 원인을 추론하는 수학적 도구이다.
• 사후 확률 = 우도 × 사전 확률 ÷ 증거
• 직관적으로, 사건 이후 가능한 원인들의 가능성을 재조정하는 공식이다.
• 사전 확률이 필요하다는 한계가 있으나, 데이터 기반 추정으로 극복 가능하다.
• 컴퓨터 비전에서는 분류, 인식, 추론, 불확실성 정량화 등에 광범위하게 사용된다.
• 빅데이터와 결합될 때, 베이즈 정리는 정확하고 강건한 의사결정을 가능하게 한다.