EvALL
EvALL 2.0 (Evaluate ALL 2.0), es una herramienta de evaluación para sistemas de información que permite evaluar un conjunto extenso de métricas que abarcan multitud de contextos de evaluación, entre los que se incluyen clasificación, ranking, o LeWeDi.
Persistencia
El usuario puede guardar evaluaciones, así como recuperar evaluaciones pasadas.
Replicabilidad
Todas las evaluaciones son realizadas siguiendo la misma metodología, por lo que son estrictamente comparables.
Efectividad
Todas las métricas se engloban bajo la teoría de la medida y han sido doblemente implementadas y comparadas.
Generalización
La generalización viene dada por el uso de un formato estandarizado de entrada que permita al usuario evaluar todos los contextos de evaluación.
¿Qué puedo hacer con EvALL?
Evaluation against repository
Evaluación contra tu propio Gold Standard
Dashboard de evaluación
Métricas
Analiza tus resultados
Consola de análisis
Publica tus resultados
Publica tu Gold Standard
Contextos de Evaluación
Clasificación mono-label
Accuracy System Precision Kappa Precision Recall FMeasure ICM ICM NormClasificación mono-label jerárquico
ICM ICM NormClasificación multi-label
Precision Recall FMeasureClasificación multi-label jerárquico
ICM ICM NormRanking
Precision at k R Precision MRR MAP DCG nDCGLeWiDi
Cross Entropy ICM-Soft ICM-Soft Norm
Dashboard de evaluación
El Dashboard de EvALL 2.0 ofrece una interfaz intuitiva para explorar y comparar los resultados obtenidos sobre las distintas métricas seleccionadas y ejecutadas sobre las predicciones de sistemas de información.
Mediante gráficos dinámicos y personalizables, el Dashboard permite analizar datos desde diferentes perspectivas y ajustar las visualizaciones según tus necesidades de investigación.
Además, la capacidad de hacer zoom y tomar capturas de los gráficos te permite documentar y compartir tus hallazgos de manera efectiva en artículos o proyectos de investigación.
Consola EvALL
La consola PyEvALL ofrece una experiencia completa para visualizar y abordar errores de formato detectados en tus ficheros de predicciones. Desde la detección de duplicación de identificadores de instancias hasta formatos incorrectos y tipos de datos inconsistentes. Además, PyEvALL te permite explorar los errores producidos en el análisis de las precondiciones de las métricas, lo que te ayuda a comprender y corregir de manera efectiva cualquier inconsistencia en tus sistemas.