17. Monte Carlo Methods

몬테 카를로 근사법을 알아보자.

17.1. Sampling and Monte Carlo Methods

몬테 카를로 법을 알아보자.

17.1.1. Why Sampling?

분포를 직접 알아낼 수 없을 때에는 샘플링으로 근사해야 한다.

17.1.2. Basics of Monte Carlo Sampling

몬테 카를로 샘플링은 많이 샘플링해서 큰 수의 법칙중심극한정리에 의해 실측 분포를 구성하는 것이다.

17.2. Importance Sampling

중요도 샘플링의 발상은 \mathbf{x}p(\mathbf{x})\lvert f(\mathbf{x}) \rvert와 모두 높은 범위에서 추출하는 것이다. 이는 표본 수가 적게 필요하므로 희귀 사건을 추출할 때 특히 유용하다. p나 f를 표준화하는 요건을 없애는 것을 편향 중요도 샘플링이라 한다.

17.3. Markov Chain Monte Carlo Methods

 고차원 분포에서 샘플링하는 가장 널리 쓰이는 방법은 마르코프 연쇄 몬테 카를로이다. MCMC의 기본 아이디어는 목표하는 확률분포를 정지 분포로 갖는 마르코프 연쇄를 만든 뒤 상태 공간에서 무작위 걸음을 해서 각 상태에서 소비하는 시간이 그 확률분포값에 비례하도록 하는 것이다. 비방향그래프모델에서는 조상 샘플링을 쓸 수 없으므로 이것이 유용하다. 마르코프 모델은 추계적 행렬에 의한 모델로도 볼 수 있다. 이를 수렴시키는 분포를 정지 분포 또는 평형 분포라고 한다. 마르코프 연쇄는 해리스 연쇄라고도 한다. 정지 분포에 도달하기 이전 추출된 표본들은 버려진다. 이를 발화 단계라 한다. 마르코프 연쇄 학습은 정지 분포에 도달하기까지의 혼합 시간을 미리 알 수 없다는 단점이 있다.

17.4. Gibbs Sampling

깁스 샘플링의 기본 아이디어는 각 단계마다 하나의 변수를 다른 변수들은 분포에 존재한다는 조건하에 샘플링을 하는 것이다. 관측가능한 변수면 샘플링하지 않는다. 일부 경우에 대해서는 변수의 그룹을 한 번에 업데이트할 수 있다. 이를 블록 깁스 샘플링이라 한다.

17.5. The Challenge of Mixing between Separated Models

마르코프 연쇄 몬테 카를로법은 그 특성상 모델간 혼합이 어렵다. 각 클래스마다 가진 분포의 다양체의 구조가 크게 다르다면 마르코프 연쇄 몬테 카를로법은 매우 쓸모가 적어진다.

17.5.1. Tempering to Mix between Modes

에너지 기반 함수의 최빈값은 온도라고 주로 불리는데 \beta < 1인 온도를 선택하는 담금질 방법은 최빈값을 혼합하는 빠른 방법이다. 담금질된 전이에 기반한 마르코프 연쇄는 고온 분포에서 여러 최빈값을 섞고 이를 저온 분포로 내린다. 다른 접근법은 여러 상태를 서로 다른 온도에서 병렬로 담금질하는 방법이 있다. 복잡한 에너지 기반 모델에서는 임계 온도가 존재하므로 담금질이 매우 느리게 되어 활용하기 어렵다.

17.5.2. Depth May Help Mixing

심층 학습에서 쓰는 깊이를 더하는 기법이 모델간 혼합을 더 쉽게 할 수 있을지도 모른다.

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google photo

Google의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중