توزیع دیریکله - ویکی‌پدیا، دانشنامهٔ آزاد

توزیع دریکله

تابع چگالی احتمال
پارامترها	${\displaystyle K>=2}$ تعداد دسته ها (عددی صحیح) ${\displaystyle \alpha _{1},\ldots ,\alpha _{K}}$ concentration parameters, که در آن ${\displaystyle \alpha _{i}>0}$
تکیه‌گاه	${\displaystyle x_{1},\ldots ,x_{K}}$ که در آن ${\displaystyle x_{i}\in [0,1]}$ و ${\displaystyle \sum x_{i}=1}$
تابع چگالی احتمال	${\displaystyle {\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$ که در آن ${\displaystyle \mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma {\bigl (}\sum _{i=1}^{K}\alpha _{i}{\bigr )}}}}$ که در آن ${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K})}$
میانگین	${\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\sum _{k}\alpha _{k}}}}$ ${\displaystyle \operatorname {E} [\ln X_{i}]=\psi (\alpha _{i})-\psi (\textstyle \sum _{k}\alpha _{k})}$ (see digamma function)
مُد	${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\sum _{i=1}^{K}\alpha _{i}-K}},\quad \alpha _{i}>1.}$
واریانس	${\displaystyle \mathrm {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}},}$ که در آن ${\displaystyle \alpha _{0}=\sum _{i=1}^{k}\alpha _{i}}$ ${\displaystyle \mathrm {Cov} [X_{i},X_{j}]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}~~(i\neq j)}$
آنتروپی	see text

توزیع دیریکله در نظریه احتمال و آمار یک توزیع پیوسته است. این توزیع به‌طور کلی حالت گسترش یافته توزیع بتا برای توابع چندمتغیره است. معمولاً از توزیع دیریکله به عنوان توزیع پیشین در مدل سازی بیزی استفاده می‌شود؛ چرا که توزیع دیریکله مزدوج پیشین (conjugate prior) برای توزیع چندجمله ای و توزیع دسته ای (categorical) است. تعمیم این توزیع فرایند دیریکله است.

تابع چگالی احتمال آن به صورت زیر است:

${\displaystyle f(x_{1},\dots ,x_{K-1};\alpha _{1},\dots ,\alpha _{K})={\frac {1}{\mathrm {B} (\alpha )}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$

به ازای همهٔ x₁, ..., x_K–1> 0 بطوریکه x₁ + ... + x_K–1 < 1, و x_K = 1 – x₁ – ... – x_K–1. چگالی در خارج از این ناحیه صفر است. ثابت نرمالیزاسیون به صورت زیر تعریف می‌شود:

${\displaystyle \mathrm {B} (\alpha )={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma {\bigl (}\sum _{i=1}^{K}\alpha _{i}{\bigr )}}},\qquad \alpha =(\alpha _{1},\dots ,\alpha _{K}).}$

یک حالت خاص زمانی است که تمامی مقادیر ${\displaystyle {\boldsymbol {\alpha }}}$ مقدار یکسانی داشته باشند، که در اینصورت آن را توزیع دیریکلهٔ متقارن می نامیم. در این حالت توزیع ساده می‌شود به:

${\displaystyle f(x_{1},\dots ,x_{K-1};\alpha )={\frac {\Gamma (\alpha K)}{\Gamma (\alpha )^{K}}}\prod _{i=1}^{K}x_{i}^{\alpha -1}.}$

زمانی که ${\displaystyle \alpha =1}$ توزیع معادل با توزیع یکنواخت روی یک تکیه‌گاه (ریاضی) سیمپلکس ${\displaystyle K-1}$ بعدی.

فرض کنیم متغیرهای تصادفی ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha )}$ و  :${\displaystyle X_{K}=1-X_{1}-\cdots -X_{K-1}.}$ را در اختیار داریم. تعریف می‌کنیم ${\displaystyle \textstyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}}$. بنابرین ^[۱][۲]

${\displaystyle \mathrm {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},}$

${\displaystyle \mathrm {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

علاوه بر این اگر if ${\displaystyle i\neq j}$

${\displaystyle \mathrm {Cov} [X_{i},X_{j}]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

مد توزیع برداری مانند (x₁, ..., x_K) است که در آن:

${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\quad \alpha _{i}>1.}$

توزیع‌های حاشیه ای توزیع دیریکله، توزیع بتا هستند.

این به این معنی است که اگر در مدلسازی مجموعه ای از داده ها از توزیع چندجمله ای/دسته ای استفاده کنیم و توزیع پیشین را دیریکله قرار دهیم، توزیع پسین الزاماً یک توزیع دیریکله خواهد بود. به زبان ریاضی یعنی

${\displaystyle {\begin{array}{lclcl}{\boldsymbol {\alpha }}&=&(\alpha _{1},\ldots ,\alpha _{K})&=&{\text{concentration hyperparameter}}\\\mathbf {p} \mid {\boldsymbol {\alpha }}&=&(p_{1},\ldots ,p_{K})&\sim &\operatorname {Dir} (K,{\boldsymbol {\alpha }})\\\mathbb {X} \mid \mathbf {p} &=&(\mathbf {x} _{1},\ldots ,\mathbf {x} _{N})&\sim &\operatorname {Cat} (K,\mathbf {p} )\end{array}}}$

بنابرین روابط مقابل برقرار هستند:

${\displaystyle {\begin{array}{lclcl}\mathbf {c} &=&(c_{1},\ldots ,c_{K})&=&{\text{number of occurrences of category }}i\\\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}&\sim &\operatorname {Dir} (K,\mathbf {c} +{\boldsymbol {\alpha }})&=&\operatorname {Dir} (K,c_{1}+\alpha _{1},\ldots ,c_{K}+\alpha _{K})\end{array}}}$

می دانیم

${\displaystyle \operatorname {E} [\log(X_{i})]=\psi (\alpha _{i})-\psi (\alpha _{0})}$

و 

${\displaystyle \operatorname {Cov} [\log(X_{i}),\log(X_{j})]=\psi '(\alpha _{i})\delta _{ij}-\psi '(\alpha _{0})}$

که در آن ${\displaystyle \psi }$ تابع تابع دایگاما و ${\displaystyle \psi '}$ تابع ترایگاما، ${\displaystyle \delta _{ij}}$ دلتای کرونکر است.

${\displaystyle H(X)=\log \mathrm {B} (\alpha )+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})}$

اگر ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})}$ اگر متغیرهای تصادفی i-ام و j-م را با هم ادغام کنیم دیریکلهٔ حاصل برابر است با:

${\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{i}+\alpha _{j},\ldots ,\alpha _{K}).}$

1. http://www.cis.hut.fi/ahonkela/dippa/node95.html