Doğrulama və test dəqiqliyi arasındakı fərqi necə şərh edə bilərəm?


cavab 1:

Dəqiqliyi üçün, modelinizin yaxşı işlədiyini düşünürəm. Güman edirəm ki, Model A öyrətmək üçün qiymətləndirmə məlumatlarını istifadə etdiniz və qiymətləndirmək üçün məlumatları test etdiniz. Həm doğrulama dəqiqliyi, həm də sınaq dəqiqliyi yüksək olduğundan, modelin düzgün təlim verildiyini söyləmək olar. Ancaq iki narahatlığım var.

  1. Daha yüksək dəqiqliyə malik bir modelə ehtiyacınız varsa, yaxşılaşmaq üçün hiperparametrləri düzəltməlisiniz. Nəzarət olunan öyrənmə yalnız dəqiqliyə aid deyil. İkili ikili təsnifat varsa, saxta pozitivləri təsnif etməkdə problemlərin olub olmadığını müəyyən etmək üçün ROC sahəsini əyri altında göstərməlisiniz. Yüksək saxta müsbət varsa, model yararsızdır.

B üçün uyğun olduğunu düşünürəm. Həddindən artıq işləmə, modelinizin yalnız test məlumatları və ya yeni bilinməyən məlumatlar üçün deyil, təlim və qiymətləndirmə məlumatları üçün işlədiyini göstərir. Daha ümumi bir model istəsəniz. Bunun niyə həddən artıq uyğun olduğunu öyrənməlisiniz. ROC sahəsini də əyri altında qiymətləndirməlisiniz.

http: //gim.unmc.edu/dxtests/roc3 ...

Maşın öyrənmə alqoritmləri ilə həddən artıq və uyğun olmayan - maşın öyrənmə bacarığı