Resultados
Clasificador
Con respecto a los clasificadores se evaluo su desempeño con las matrices de confusion y el porcentaje de acierto, se debe tener en cuenta que ambos modelos (Random Forest y red convolucional) fueron entrenados con los datos del dataset de Kaggle menos el subconjunto de datos seleccionado para optimizar el detector, dicho subconjunto se utilizo para evaluar el desempeño de los clasificadores. Las matrices de confusion se muestran a continuacion:
Matrices de confusion de red convolucional y Random Forest respecticamente
Manzana-0, Banana-1, Kiwi-2, Mango-3, Naranja-4, Ciruela-5
Como se observa en las matrices, el modelo de la red convolucional es muy superior al Random Forest en los datos del subconjunto.
Detector
Para la evaluación del desempeño de los detectores se utilizaron distintas métricas motivado por analizar los mismos desde distintos puntos de vista.
Se utilizó un conjunto de train de 378 imágenes (63 por fruta) y uno de test de 60 imágenes (10 por fruta) para la evaluación.
Una de las métricas utilizadas fue el tercer momento del error, entendiéndose como error a la diferencia entre la cantidad de frutas de la imagen y la cantidad detectada. Esta métrica representa hacia que lado suele tender el error, es decir por si es por exceso, por defecto o ambos.
Estimador del tercer momento para muestra de tamaño n
Otra métrica utilizada es el MAPE (mean absolute percentage error) que como su nombre lo indica mide el porcentaje medio de error en el conteo de las frutas respecto a la cantidad verdadera.
MAPE para muestra de tamaño n donde A es la cantidad de frutas de la imagen y la cantidad de frutas detectadas
Por último se utiliza el porcentaje de acierto, entendiéndose el mismo como el porcentaje de veces en el que el conteo coincide con la cantidad real. Esta métrica también es la que se maximizo al optimizar los hiperparámetros de los detectores.
Porcentaje de acierto para muestra de tamaño n donde A es 1 si se cuenta la cantidad de frutas correcta y 0 si no
Como otra forma de entender el desempeño de los detectores de una manera mas visual graficámos la cantidad detectada y la real en función de las imágenes, algunos ejemplos pueden verse a continuación:
Desempeño global en test
Desempeño global en test
Desempeño global en test
Finalmente se validó el funcionamiento de los detectores probandolos en imágenes del conjunto de test.
Los resultados no variaron significativamente de los obtenidos con la base para el ajuste por lo que los detectores parecen ser robustos.
Desempeño global en train
Desempeño global en test