Bayesian Statistics & Learning

by Sungbin Lim & Joonsuk Park

New Posts

  • Likelihood-free Bayesian inference (3): 정규분포 예제

    Aug 2, 2019

    지난 글에서 말했던 대로 이번에는 연속확률분포에서의 ABC에 대해 이야기하겠습니다. 가장 큰 차이는 acceptance의 기준을 바꾸어야 한다는 것입니다. 이항분포의 경우에는 원 자료와 완전히 같은 자료를 생성하는 모수치만 accept하는 게 가능했지만, 연속확률분포에서는 그렇게 할 수가 없습니다. 이유는 말 안 해도 잘 아시죠? 사실 이항분포에서도 시행횟수(n)가 충분히 크면 원 자료와 완전히 같은 자료가 생성되기 무척 힘들고, 이로 인해 대부분의 proposal들이 기각돼 버려서 샘플링에 시간이 많이 걸린다는 단점이 있습니다. 그래서 이 글에서 이야기할 방법을 사용하는 게 도움이 됩니다.

  • Likelihood-free Bayesian inference (2): 이항분포 예제

    Aug 1, 2019

    예고했던 대로 이 글에서는 가장 간단한 ABC rejection sampling을 구현해 보도록 하겠습니다. 다음 확률모형을 생각해 봅시다:

  • Likelihood-free Bayesian inference (1): 가능도 likelihood 없이 베이지안 추론을 한다고?

    Aug 1, 2019

    지금까지 베이지안 추론의 실제 사례들을 꽤 다루었습니다. 그리고 그 핵심은 prior와 likelihood라고 누누이 강조했습니다. 이 둘을 곱한 것이 posterior에 비례하며, 이 사실을 이용하면 MCMC 샘플링을 통해 사후분포에 대한 추론을 할 수 있다고 계속 말해왔습니다. 그런데 모든 통계모형들이 이런 방식으로 추론이 가능한 것은 아닙니다. 조금만 모형이 복잡해져도 자료의 생성 모형이 닫힌 형태의 likelihood function으로 표현될 수 없게 됩니다. 이런 모형은 불행히도 곳곳에 널려 있습니다. 특히 생명과학이나 심리학 같은 분야에서 likelihood function을 얻을 수 없는 모델들이 많이 발견됩니다. 대개 이런 모델들은 매우 복잡한 위계적 구조를 갖고 있으며, 시뮬레이션을 통해 자료를 생성할 수는 있지만 그 수학적 표현은 알려지지 않은 경우가 많습니다.

  • 베이지안 메타분석 (2) - 사전분포의 선택이 베이지안 분석결과에 미치는 영향: sensitivity analysis

    Jul 29, 2019

    베이지안 통계에 대해 가해지는 비판들 중 가장 흔한 것은 역시 분석 결과가 사전분포 prior distribution 의 영향을 크게 받는다는 것입니다. 사전분포는 분석가의 주관적 믿음 (사실 저는 이 표현을 썩 좋아하지는 않습니다만) 을 반영하는 것이기 때문에, 서로 다른 분석가가 서로 다른 사전분포를 썼을 때 서로 다른 분석 결과에 도달하게 된다는 것은 당연합니다. 그래서 이 글에서는 앞에서 예시로 든 베이지안 메타분석의 예를 들어, 사전분포가 결과에 어떤 영향을 미치는지 한 번 알아보겠습니다. 그리고 이것을 어떻게 선택할지도 잠깐 생각해 보겠습니다.

1. Causal Inference & Learning

2. Miscellaneous Posts on Statistics & Learning