معلومات متبادلة - ويكيبيديا

نظرية المعلومات
اعتلاج اعتلاج تفاضلي [الإنجليزية] اعتلاج شرطي اعتلاج مشترك معلومات متبادلة Conditional mutual information تباعد كولباك - ليبلير Entropy rate إسراف Limiting density of discrete points ترميز خاصية تصحيح الخطأ كشف وتصحيح أخطاء
Asymptotic equipartition property Rate–distortion theory
Shannon's source coding theorem سعة القناة نظرية تكويد القناة الصاخبة نظرية شانون هارتلي
ع ن ت

المعلومات المتبادلة أو المعلومات المنقولة (بالإنجليزية: Mutual information)‏ هو مصطلح من نظرية المعلومات، تدل على قوة الارتباط الإحصائي لمتغيرين عشوائيين. وتسمى المعلومات المنقولة أيضاً توليف (بالإنجليزية: Synentropie)‏. على النقيض من توليف سلسلة ماركوف من الدرجة الأولى، والذي يعبر عن إسراف المصدر وبالتالي يجب أن يكون في حده الأدنى، يمثل تزامن القناة متوسط محتوى المعلومات الذي يصل من جهاز الإرسال إلى جهاز الاستقبال وبالتالي يجب أن يكون الحد الأقصى للمعلومات المتاحة للنقل.

يستخدم مصطلح الانتروبيا في بعض الأحيان، ولكن هذا يتوافق مع تباعد كولباك-ليبلر.

يرتبط التحول المطلق ارتباطًا وثيقًا بالانتروبيا والانتروبيا الشرطية. هذه هي الطريقة التي يتم بها حساب التحول ${\displaystyle I(X;Y)}$ كالآتي:

تعريف الفرق بين إنتروبيا المصدر و‌الالتباس أو إنتروبيا الاستقبال والمعلومات الخاطئة:

${\displaystyle I(X;Y)=H(X)-H(X\vert Y)=H(Y)-H(Y\vert X).}$

التعريف عبر الاحتمالات:

${\displaystyle I(X;Y)=\sum _{x}{}\sum _{y}{}p(x,y)\cdot \log _{2}\left({\frac {p(x,y)}{p(x)p(y)}}\right).}$ ^[1]

تعريف حول تباعد كولباك - ليبلير:

${\displaystyle I(X;Y)=D(p(x,y)\|p(x)p(y)).}$

تعريف القيمة المتوقعة:

${\displaystyle I(X;Y)=E\left\{\log _{2}\left({\frac {p(x,y)}{p(x)p(y)}}\right)\right\}.}$

إذا اختفى التحويل، يمكننا الحديث عن الاستقلال الإحصائي للمتغيرين العشوائيين. يصبح التحويل أكبر قدر ممكن عندما يمكن حساب متغير عشوائي واحد بالكامل من الآخر.

يعتمد تبادل المعلومات على تعريف المعلومات باستخدام الإنتروبيا (عدم اليقين، متوسط محتوى المعلومات) الذي قدمه كلود شانون. إذا زادت المعلومات المنقولة، يقل الشك بشأن المتغير العشوائي، بشرط أن يكون الآخر معروفًا. إذا كانت المعلومات المنقولة بحدها الأقصى، يختفي عدم اليقين. كما يتبين من التعريف الرسمي، يتم تقليل عدم اليقين لمتغير عشوائي عن طريق معرفة متغير آخر. يتم التعبير عن هذا في المعلومات المنقولة.

تلعب المعلومات المنقولة على سبيل المثال دورًا في نقل البيانات، يمكن استخدامه لتحديد سعة القناة.

وفقًا لذلك، يمكن أن تعتمد الإنتروبيا أيضًا على اثنين من الأنتروبيا المختلفة، التي تعتمد على بعضها البعض، وهي:

يتم استخدام مصطلحات مختلفة في المراجع المتخصصة. ويشار إلى الالتباس أيضًا على أنها «إنتروبيا الخسارة» والمعلومات الخاطئة على أنها «غير ذات صلة». ويشار أيضًا إلى المعلومات المحولة بأنها «انتقال» أو «متوسط محتوى المعلومات المحولة».

• مارتن ويرنر: المعلومات والتشفير. الأساسيات والتطبيقات 2. الطبعة، Vieweg + Teubner Verlag ، فيسبادن 2008، ISBN 978-3-8348-0232-3 .
• Herbert Schneider-Obermann: المعرفة الأساسية بتكنولوجيا الكهرباء والرقمية وتكنولوجيا المعلومات. 1. الإصدار. Friedrich Vieweg & Sohn Verlag / GWV Fachverlage GmbH ، فيسبادن 2006، ISBN 978-3-528-03979-0 .
• D. Krönig ، M. Lang (محرر.): الفيزياء وعلوم الحاسب - علوم الحاسب والفيزياء. Springer Verlag ، برلين / هايدلبرغ 1991، ISBN 978-3-540-55298-7 .

• Peter E. Latham, Yasser Roudi
• قنوات المعلومات وقدرتها (تم الوصول إليها في 26 فبراير 2018)
• الانتروبيا، المعلومات المحولة وتوزيع المعلومات {تسلسل الحمل (تم الوصول إليه في 26 فبراير 2018)
• نظرية المعلومات والترميز (تم الوصول إليه في 26 فبراير 2018)
• نظرية معلومات الصيغ والملاحظات (تم الوصول إليها في 26 فبراير 2018)