Introducción

El problema al que nos enfrentamos es, dada una imágen de una bandeja con frutas, clasificar, contar y localizar las frutas en la imágen (con localizar se entiende marcar el área delimitada por cada fruta).

Para esto utilizaremos una base de datos de Kaggle, la cual cuenta con imágenes de bandejas con 16 tipos de frutas, en varias cantidades y posiciones. Alcanzando un total de 44 mil imágenes en total.

Consideraciones a tener en cuenta de la base de datos:

• En todas las imágenes aparece un solo tipo de fruta por bandeja, es decir que no hay imágenes de bandejas con varios tipos de frutas en ella.
• Todas tienen el mismo fondo, que es el de la bandeja plateada. (Puede tener eventualmente distinta iluminación)
• El ángulo de captura de la imágen, al igual que la distancia a la bandeja es aproximadamente constante en todas las imágenes. (Puede tener pequeñas variaciones)
• Hay imágenes de bandejas tanto con una sola fruta, como con varias, llegando a alcanzar la decena.
• Las imágenes están etiquetadas por tipo de fruta (pues era el objetivo original del problema planteado con el dataset) pero no según cantidad de frutas o su posición.

A partir del análisis de la base de datos identificamos las siguientes dificultades en pos de nuestro objetivo:

• Las imágenes no están etiquetadas ni por posición ni por cantidad, por lo cual si queremos evaluar el sistema que realizamos cuantitativamente deberemos etiquetarlas manualmente así sea por cantidad.
• La iluminación de la imágen genera reflejos tanto en la bandeja como en la superficie de algunas frutas lisas, generando manchas luminosas en la imágen.
• Las mismas frutas se reflejan en la bandeja, haciendo que se confunda la fruta de su reflejo.
• Hay situaciones en que hay mucha oclusión entre frutas, haciendo que sea bastante difícil identificarlas por separado.

Para abordar el problema con el tiempo disponible y con las herramientas del curso se decidieron tener las siguientes consideraciones:

• No vamos a trabajar con con los 16 tipos de frutas, sólo con 6 de ellas, seleccionadas de modo que el problema mantuviera parte de la complejidad original pero sin excederse. Por esta misma razón se seleccionaron frutas que fueran bastante distintas entre ellas en pos de mantener la diversidad del problema original.
• Tampoco se va a usar todo el dataset de cada fruta, puesto que sería inviable etiquetar todas las imágenes, por lo que se decidió crear un subset para cada una de las frutas seleccionadas, de unos 60 elementos por fruta, etiquetadas por cantidad manualmente.
• La evaluación de la localización de las frutas se hará visualmente ya que el dataset no contiene etiquetas sobre las posiciones.