8. Graphical Models

확률적 그래프 모델은 여러 이점이 있다.

  1. 확률적 모델의 구조를 간단히 시각화한다.
  2. 모델 내 조건부 독립과 같은 특성들이 그래프로 나타내어진다.
  3. 복잡한 모델 내에서의 추론과 학습을 그래프 알고리즘으로 옮겨올 수 있다.

그래프 모델에서는 정점은 확률변수고 간선은 확률적 관계를 뜻한다.

8.1. Bayesian Networks

방향 그래프 모델은 방향 비순환 그래프로 나타내어진다.

8.1.1. Example: Polynomial regression

다항식 회귀의 경우에는 판 표현식으로 더 간결하게 나타낼 수 있다.

8.1.2. Generative models

그래프 모델은 관측된 데이터가 생성되는 인과적 과정을 모델링하므로 생성적 모델을 모델링한다고도 볼 수 있다.

8.1.3. Discrete variables

이산확률변수를 다루는 모델에 대해서는 그래프 모델을 차용해 어떻게 모델 매개변수 수를 줄일 수 있는지에 대한 직관을 확립할 수 있다.

8.1.4. Linear-Gaussian models

그래프 모델적 관점에서 다변수 가우시안 모델은 선형 가우시안 모델로 나타내어질 수 있다.

8.2. Conditional Independence

그래프 모델의 중요한 특성은 결합분포 내 조건부 독립 특성을 그래프 구조의 d-분할로부터 쉽게 알 수 있다는 점이다.

8.2.1. Three example graphs

예제를 통해 그래프 모델의 중요한 직관적 특성을 더 쉽게 알 수 있다.

8.2.2. D-separation

경로 내의 정점에 대해 다음 중 하나가 성립할 때 집합 C에 의해 경로가 막혀 있다고 한다.

  • 경로 내 화살표들이 정점에서 머리-꼬리 또는 꼬리-꼬리로 만나고 정점이 C에 속할 때
  • 경로 내 화살표들이 정점에서 머리-머리로 만나고 정점 및 그의 후손들 중 C에 속하는 것이 없을 때

모든 경로가 막혀 있을 경우 A는 C에 의해 d-분할되어 있다고 한다. 이는 그래프 모델 내 확률변수 간 조건부 독립을 판별하는 데 중요한 역할을 한다. 노드 t와 그래프 내 다른 노드들과는 조건부독립으로 관계가 있는 노드들의 최소 집합을 마르코프 담요라 하며, 이는 그래프 내에서 노드 t를 다른 그래프와 분리시키는 최소 집합이 된다.

8.3. Markov Random Fields

마르코프 무작위 망은 비방향 그래프 모델이다.

8.3.1. Conditional independence properties

비방향그래프 모델에서의 조건부독립을 판정하는 것은 방향그래프 모델과 유사하나 더 간단하다. 정점이 경로를 막는지만 판정하면 된다.

8.3.2. Factorization properties

비방향그래프 모델 내에서의 조건부독립 특성은 다음으로 나타낼 수 있다. p(x_{i}, x_{j} | \mathbf{x}_{-\{i, j\}}) = p(x_{i} | \mathbf{x}_{-\{i, j\}})p(x_{j} | \mathbf{x}_{-\{i, j\}}).

8.3.3. Illustration: Image de-noising

이미지 노이즈 제거 예제로 비방향그래프 모델의 유용함을 알아볼 수 있다.

8.3.4. Relation to directed graphs

특정 조건이 성립할 경우 방향그래프 모델을 동치인 비방향그래프 모델로, 비방향그래프 모델을 동치인 방향그래프 모델로 치환할 수 있다. 모든 그래프가 가능한 것은 아니다.

8.4. Inference in Graphical Models

그래프 모델에서 추론은 어떻게 할까?

8.4.1. Inference on a chain

사슬 형태의 그래프는 연쇄적으로 메시지 패싱을 하면 된다.

8.4.2. Trees

트리 또한 루트 노드에서 리프 노드로, 리프 노드에서 루트 노드로 메시지 패싱을 하면 된다.

8.4.3. Factor graphs

인자 그래프는 방향그래프와 비방향그래프 모델을 통합하는 그래프 표현으로서 특정한 메시지 패싱 알고리즘을 간소화한다. 

8.4.4. The sum-product algorithm

아래쪽 방향으로 보내는 메시지를 계산할 때 모든 메시지를 하나 제외하고 곱하는 방법을 합-곱 방법이라 한다. 

8.4.5. The max-sum algorithm

합 연산을 max 연산으로 바꿈으로써 알고리즘의 최대-곱 버전을 유도할 수 있다. 이를 통해 각 노드의 국소적 최대사후확률추정 주변분포를 구할 수 있다.

8.4.6. Exact inference in general graphs

일반적인 그래프 모델에 대해서는 정확한 추론은 트리 두께에 의존하며, 일반적으로 NP-난해이다. 그래서 접합 트리 등이 쓰인다.

8.4.7. Loopy belief propagation

이산적이거나 가우시안인 그래프 모델에 대한 간단한 근사 추론 알고리즘으로 순환적 믿음 전파가 있다.

8.4.8. Learning the graph structure

베이지안적 관점에서 p(m | \mathcal{D}) \propto p(m) p(\mathcal{D} | m)을 이용해 그래프 구조 또한 학습할 수 있다.

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google photo

Google의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중