ما هي إنتروبيا شانون؟

تقيس إنتروبيا شانون الكمية المتوسطة من 'المفاجأة' أو المعلومات الموجودة في نتائج متغير عشوائي، وتُعطى بـ H(X) = −Σ p(x)·log₂ p(x). الإنتروبيا الأعلى تعني عدم إمكانية تنبؤ أكبر.

ما الفرق بين البت والنات؟

يستخدم البت اللوغاريتم بالأساس 2 (الوحدة القياسية في الحوسبة ونظرية المعلومات)؛ ويستخدم النات اللوغاريتم الطبيعي (الأساس e). لنفس التوزيع قيم إنتروبيا عددية مختلفة في كل وحدة، مرتبطة بعامل ثابت قدره ln(2).

ماذا تعني الإنتروبيا الصفرية؟

تعني الإنتروبيا الصفرية أن نتيجة واحدة لها احتمال 1 وجميع النتائج الأخرى لها احتمال 0 — لا يوجد أي عدم يقين على الإطلاق، لأن النتيجة مؤكدة بالفعل.

ما هي أقصى إنتروبيا ممكنة؟

بالنسبة لـ n نتيجة متساوية الاحتمال، تصل الإنتروبيا إلى أقصاها عند log₂(n) بت، وتتحقق بالضبط عندما يكون لكل نتيجة نفس الاحتمال 1/n — وهو أكثر توزيع غير قابل للتنبؤ ممكن.

لماذا يجب أن يبلغ مجموع الاحتمالات 1؟

يجب أن يأخذ التوزيع الاحتمالي في الاعتبار كل نتيجة ممكنة مرة واحدة بالضبط، لذا يجب أن يبلغ مجموع احتمالات جميع النتائج 1 (100%) حتى تكون صيغة الإنتروبيا ذات معنى.

أين تُستخدم الإنتروبيا في الحياة الواقعية؟

تدعم ضغط البيانات دون فقدان (ترميز هوفمان وشانون-فانو)، ومعايير تقسيم شجرة القرار في التعلم الآلي، وقياس العشوائية التشفيرية، وقياس التنوع في علم البيئة والاقتصاد.

كيف ترتبط الإنتروبيا بالتباين؟

كلاهما يقيس التشتت أو عدم إمكانية التنبؤ، لكن التباين يقيس التشتت العددي حول متوسط للنتائج العددية، بينما تقيس الإنتروبيا عدم إمكانية التنبؤ لأي نتيجة تصنيفية بغض النظر عن قيمتها العددية — رمي عملة معدنية له إنتروبيا حتى لو لم يكن 'الوجه' و'الكتابة' أرقامًا.

هل يمكن أن تكون الإنتروبيا سالبة؟

لا — بما أن كل احتمال يقع بين 0 و1، فإن log₂(p) يكون دائمًا صفرًا أو سالبًا، وتجعل إشارة السالب الأولية في الصيغة كل حد (والمجموع) صفرًا أو موجبًا.

آلة حاسبة الإنتروبيا — احسب إنتروبيا شانون لتوزيع احتمالي

تقيس آلتنا الحاسبة للإنتروبيا محتوى المعلومات المتوسط — أو عدم اليقين — لتوزيع احتمالي باستخدام صيغة إنتروبيا كلود شانون H(X) = −Σ p(x)·log₂ p(x). أدخل أي قائمة من الاحتمالات التي يبلغ مجموعها 1، وشاهد فورًا الإنتروبيا بالبت (لوغاريتم بالأساس 2) أو النات (اللوغاريتم الطبيعي)، إلى جانب الإنتروبيا القصوى الممكنة لهذا العدد من النتائج.

إجابة سريعة

تقيس إنتروبيا شانون H(X) = −Σ p(x)·log₂ p(x) عدم اليقين المتوسط لتوزيع احتمالي. أدخل احتمالًا واحدًا في كل سطر أدناه (بمجموع 1) لحساب الإنتروبيا فورًا بالبت أو النات.

الاحتمالات (واحد في كل سطر)

أدخل احتمالًا واحدًا في كل سطر، مثل 0.5. يجب أن يبلغ مجموع جميع الاحتمالات 1.

كيفية استخدام آلة حاسبة الإنتروبيا — إنتروبيا شانون (بت ونات) عبر الإنترنت

1
أدخل احتمالًا واحدًا في كل سطر لكل نتيجة ممكنة (يجب أن يبلغ مجموعها 1).
2
اختر البت (log₂) أو النات (ln) كوحدة قياس.
3
انقر على 'احسب' لرؤية إنتروبيا شانون والتفصيل خطوة بخطوة.

لماذا تستخدم آلة حاسبة الإنتروبيا — إنتروبيا شانون (بت ونات) عبر الإنترنت؟

إنتروبيا شانون، التي قدمها كلود شانون في ورقته البحثية التأسيسية عام 1948 حول نظرية المعلومات، تُحدد مدى عدم إمكانية التنبؤ بمتغير عشوائي: التوزيع الذي تكون فيه نتيجة واحدة مؤكدة له إنتروبيا صفرية، بينما التوزيع المنتظم على n نتيجة له أقصى إنتروبيا ممكنة، log₂(n) بت. تطبق هذه الآلة الحاسبة الصيغة بدقة حتى تتمكن من قياس محتوى المعلومات لتوزيع ما — وهو مفيد في ضغط البيانات والتعلم الآلي والتشفير والتحليلات المستوحاة من الديناميكا الحرارية — دون العمل يدويًا مع اللوغاريتمات.

الأسئلة الشائعة

أدوات ذات صلة

آلة حاسبة توزيع الاحتمال — المتوسط والتباين والانحراف المعياري

احسب المتوسط والتباين والانحراف المعياري لأي توزيع احتمال منفصل مخصص. آلة حاسبة مجانية تتحقق من أن احتمالاتك تجمع إلى 1 مع إحصاءات خطوة بخطوة.

آلة حاسبة توزيع الاحتمال ذي الحدين — P(X=k) عبر الإنترنت

احسب احتمالات ذي الحدين فورًا — أدخل عدد المحاولات (n)، واحتمال النجاح (p)، وعدد النجاحات (k) لإيجاد P(X = k)، والاحتمال التراكمي، والمتوسط، والتباين. آلة حاسبة مجانية بتفصيل خطوة بخطوة.

آلة حاسبة توزيع بواسون — احتمال الأحداث عبر الإنترنت

احسب احتمالات بواسون فورًا — أدخل معدلًا (λ) وعدد أحداث (k) لإيجاد P(X = k)، والاحتمال التراكمي، والمتوسط، والتباين. آلة حاسبة مجانية بتفصيل الصيغة خطوة بخطوة.