천천히 꾸준히

확률과 라이클리후드(Likelihood)는 통계에서 많이 등장하지만, 그 차이를 구분하는 것이 헷갈릴 수 있습니다.

이 글에서는 확률과 라이클리후드의 차이를 쉽게 설명하고, 최대우도추정(MLE)이 무엇인지 알아보겠습니다.

Likelihood란 무엇인가?

먼저 사전적으로 "Likelihood"는 '어떤 일이 일어날 가능성'을 의미합니다. 하지만 통계에서 likelihood는 조금 다른 의미를 가지고 있습니다. 보통 Probability(확률)과 함께 다뤄지는데, 이 둘을 구분해보겠습니다.

• 확률 (Probability): 어떤 사건이 일어날 가능성을 말합니다. 예를 들어, 특정 아이가 키가 클 확률 또는 카지노 게임에서 이길 확률을 생각해볼 수 있습니다.
• 가능도 (Likelihood) : 관측된 사건이 고정된 상태에서 확률 분포가 변화될 때, 확률을 나타냅니다. 즉, 데이터를 바탕으로 여러개의 확률분포를 적용하여 해당 확률 분포가 적합한지를 추정하는 데 사용됩니다. 식은 아래와 같습니다.
•  

Likelihood

위의 식을 좀더 쉽게 이해하기 위해, 아래 식을 이해하면 좋습니다.

여기서 θ는 확률 분포를 구성하는 parameter(매개변수)를 의미합니다. 

쉽게 말해, 특정 확률 분포의 성질을 정의하는 숫자들이라고 생각하면됩니다.

예를 들어, 확률분포가 정규분포를 따른다면 "θ"는 parameter는 평균 μ와 표준편차 σ가 됩니다.

따라서 위의 식은 likelihood는! 데이터 x일 때, 가정한 확률분포(예로 정규분포)의 확률값( P(x∣θ) )을 모두 곱한 값 (Π)이 됩니다.

예시 :

아래와 같이 데이터  x = {1,4,5,6,9} 가 주어졌을 때, 우리는 이 데이터를 가장 잘 설명할 수 있는 확률밀도함수(PDF)를 찾고자 합니다. 아래 그림처럼 여러 개의 PDF가 있을 수 있는데, 그 중에서 Likelihood 값이 가장 큰 확률밀도함수가 주황색 그래프입니다. likelihood값이 더 큰 확률밀도함수(PDF)는 주황색이 되겠죠. 

이런 식으로, likelihood가 최대가 되는 확률밀도함수를 찾는 방법이 최대우도추정법 ( MLE, Maximum Likelihood Estimation) 입니다.

reference

- https://xoft.tistory.com/30

- https://www.youtube.com/watch?v=XhlfVtGb19c&t=339s

안녕하세요.

공분산을 복습하다 보니 확률 변수에 대한 개념이 헷갈려서 다시 정리하려 합니다.

기초 개념이 재대로 잡혀있지 않으면 다른 부분을 이해하기 어렵더라고요. 함께 알아보겠습니다.

확률 변수란? 

네이버 지식백과에 따르면, 확률 변수는 다음과 같습니다.

"동전을 세 번 던졌을 때 앞면이 나온 횟수라든지, 두 개의 주사위를 던지는 게임에서 두 눈의 수의 합과 같이 확률적 실험에서 실험의 결과보다는 실험의 결과를 수치화한 것에 관심을 가질 때가 있다. 이렇게 실험 결과마다 실수를 대응하는 함수를 확률변수라고 한다."

조금 이해가 되시나요? 저는 이해가 잘 안가더라구요. 조금 더 명확히 하기 위해 위키백과의 예시를 가져왔습니다.

" 확률 변수는 아직 실제로 나타나지는 않았지만 나타날 가능성이 있는 모든 경우의 수에 해당하는 값을 가질 수 있다. 주사위를 굴리는 등 실제로 무작위적인 시행에 대해서도 쓸 수 있고 ..."

이제 이해가 좀 됩니다.  동전을 던졌을때 확률 변수는 나올 수 있는 수 앞면, 뒷면이 될것이고, 주사위를 던졌을 때는 확률 변수가 1,2,3,4,5,6이 됩니다. 즉, 어떤 확률을 갖는 경우의 값을 확률변수라고 할 수 있습니다. 

확률 변수의 종류

추가적으로, 공부를 하다보니 확률변수가 두개로 나뉜다는것을 알 수 있었습니다.

지금까지 이해한 확률 변수는 이산확률변수입니다.

확률 변수는 크게 두 가지로 나뉩니다. 

1. 이산확률변수 : 주사위를 던지거나, 동전을 던지는 등 셀 수 있는 값을 가지는 변수입니다.

2. 연속확률변수 : 키와 같이 특정구간 내에 모든 실수 값을 가질 수 있는 변수입니다. 예를 들어, 171.1cm, 173.05cm 등의 연속적인 값을 갖습니다.

확률 함수란?

그렇다면 확률 함수는 무엇일까요? 확률 함수는 크게 확률 질량함수와 확률 밀도함수로 나뉩니다.

1. 확률질량함수(Probability Mass Function)

이산 확률 변수를 가지고 그 변수에 대한 사건이 발생할 확률을 갖는 함수입니다.

아래 글을 읽어보시면 이해가 좀 더 쉬울거에요. 

이때 다음 두 가지 조건을 만족해야 합니다.

- 조건1 : 모든 확률 값을 더하면 1이 되어야 합니다.

- 조건2 : 모든 확률은 0이상 1이하의 값을 가집니다.

위에 예시도 모두 포함하는걸 보실 수 있죠.

- 조건1 : 주사위를 던질 때 나오는 값의 모든 확률을 더하면 1이되는것을 알수 있습니다

               --> P(0)+P(1)+P(2) = 1/4+1/2+1/4 = 1

- 조건2 : 0 <= P(0),P(1),P(2) <= 1

2. 확률 밀도 함수 (Probability Density Function)

연속 확률 변수를 가지고 특정 값에 대한 확률이 아닌 특정 구간에 대해 확률을 나타냅니다.

확률 밀도함수는 다음 조건을 따릅니다.

- 조건1 : 전체 확률의 합, 즉 확률 밀도 함수의 전체 넓이는 1이다.

- 조건2 : 연속 확률 변수를 사용하기 때문에 특정구간 내에 모든 값을 갖는다. 

이렇게 해서 확률 변수와 확률 함수에 대해 간단히 정리해보았습니다. 이해하는 데 큰 도움이 되면 좋겠네요.

reference

- https://terms.naver.com/entry.naver?docId=3338095&cid=47324&categoryId=47324

- https://ko.wikipedia.org/wiki/%ED%99%95%EB%A5%A0_%EB%B3%80%EC%88%98

- https://blog.naver.com/leegoon3000/223509662026

- https://www.youtube.com/watch?v=AWsB5-SkJXs