التقاطع الفئوي هو دالة خسارة تُستخدم في مهام التصنيف متعددة الفئات. هذه هي المهام حيث يمكن أن ينتمي المثال إلى فئة واحدة فقط من بين العديد من الفئات المحتملة ، ويجب أن يقرر النموذج أي منها. رسميًا ، هومصمم لتقدير الفرق بين توزيعين احتماليين.
لماذا نستخدم الانتروبيا المتقاطعة بدلاً من MSE؟
أولاً ، الانتروبيا المتقاطعة (أو خسارة softmax ، لكن الانتروبيا المتقاطعة تعمل بشكل أفضل) هي مقياس أفضل من MSE للتصنيف ،لأن حدود القرار في مهمة التصنيف كبيرة(بالمقارنة مع الانحدار). … بالنسبة لمشاكل الانحدار ، ستستخدم دائمًا MSE دائمًا.
ما هو الفرق بين إنتروبيا متفرقة و إنتروبيا قاطعة؟
الفرق الوحيد بين الانتروبيا المتقطعة المتفرقة والنتروبيا المتقاطعة الفئوية هوتنسيق الملصقات الحقيقية. عندما يكون لدينا مشكلة تصنيف واحدة ومتعددة الفئات ، فإن التسميات تكون حصرية لكل بيانات ، مما يعني أن كل إدخال بيانات يمكن أن ينتمي إلى فئة واحدة فقط.
كيف تفسر فقدان الانتروبيا القاطع؟
يزيد الانتروبيا كلما انحرف الاحتمال المتوقع لعينة عن القيمة الفعلية. لذلك ، فإن توقع احتمال 0.05 عندما يكون للتسمية الفعلية قيمة 1 يزيد منخسارة إنتروبيا. يشير إلى الاحتمال المتوقع بين 0 و 1 لتلك العينة.
لماذا يعتبر الانتروبيا جيدة؟
بشكل عام ، كما يمكننا أن نرى الانتروبيا المتقاطعة هي مجرد طريقة لقياس احتمالية النموذج. يعد الانتروبيا المتقاطع مفيدًا لأنه يمكن أن يصفمدى احتمالية وجود نموذج ووظيفة الخطأ لكل نقطة بيانات. يمكن استخدامه أيضًا لوصف نتيجة متوقعة مقارنة بالنتيجة الحقيقية.
