متقاطع طبقه‌ای یک تابع ضرر است که در وظایف طبقه‌بندی چند طبقه استفاده می‌شود. اینها وظایفی هستند که در آنها یک مثال فقط می تواند به یکی از دسته های ممکن تعلق داشته باشد و مدل باید تصمیم بگیرد که کدام یک. به طور رسمی، طراحی شده است تا تفاوت بین دو توزیع احتمال را کمیت کند.
چرا به جای MSE از آنتروپی متقابل استفاده کنیم؟
اول، آنتروپی متقابل (یا از دست دادن softmax، اما آنتروپی متقابل بهتر عمل می کند) معیار بهتری نسبت به MSE برای طبقه بندی است، زیرا مرز تصمیم گیری در یک کار طبقه بندی بزرگ است(در مقایسه با رگرسیون). … برای مشکلات رگرسیون، تقریبا همیشه از MSE استفاده می کنید.
تفاوت بین آنتروپی متقاطع پراکنده و آنتروپی متقاطع طبقه ای چیست؟
تنها تفاوت بین آنتروپی متقاطع طبقه‌ای پراکنده و آنتروپی متقاطع طبقه‌بندی قالب برچسب‌های واقعی است. هنگامی که ما یک مشکل طبقه بندی تک برچسبی و چند طبقه ای داریم، برچسب ها برای هر داده متقابلاً انحصاری هستند، به این معنی که هر ورودی داده فقط می تواند به یک کلاس تعلق داشته باشد.
چگونه از دست دادن آنتروپی متقاطع طبقه ای را تفسیر می کنید؟
آنتروپی متقاطع با اختلاف احتمال پیش‌بینی‌شده نمونه از مقدار واقعی افزایش می‌یابد. بنابراین، پیش‌بینی احتمال 0.05 زمانی که برچسب واقعی مقدار 1 دارد، ضرر آنتروپی متقاطع را افزایش می‌دهد. نشان دهنده احتمال پیش بینی شده بین 0 و 1 برای آن نمونه است.
چرا آنتروپی متقابل خوب است؟
به طور کلی، همانطور که می بینیم آنتروپی متقاطع به سادگی راهی برای اندازه گیری احتمال یک مدل است. آنتروپی متقاطع مفید است زیرا می تواند توصیف کند که یک مدل چقدر محتمل است و تابع خطای هر نقطه داده. همچنین می تواند برای توصیف یک نتیجه پیش بینی شده در مقایسه با نتیجه واقعی استفاده شود.
