Criterio de información de Akaike

El criterio de información de Akaike (AIC) es una medida de la calidad relativa de un modelo estadístico, para un conjunto dado de datos. Como tal, el AIC proporciona un medio para la selección del modelo.

AIC maneja un trade-off entre la bondad de ajuste del modelo y la complejidad del modelo. Se basa en la entropía de información: se ofrece una estimación relativa de la información perdida cuando se utiliza un modelo determinado para representar el proceso que genera los datos.

AIC no proporciona una prueba de un modelo en el sentido de probar una hipótesis nula, es decir AIC no puede decir nada acerca de la calidad del modelo en un sentido absoluto. Si todos los modelos candidatos encajan mal, AIC no dará ningún aviso de ello.

Definición

En el caso general, el AIC es

${\displaystyle {\mathit {AIC}}=2k-2\ln(L)}$

donde k es el número de parámetros en el modelo estadístico , y L es el máximo valor de la función de verosimilitud para el modelo estimado.

Dado un conjunto de modelos candidatos para los datos, el modelo preferido es el que tiene el valor mínimo en el AIC. Por lo tanto AIC no solamente recompensa la bondad de ajuste, sino también incluye una penalidad, que es una función creciente del número de parámetros estimados. Esta penalización desalienta el sobreajuste (aumentando el número de parámetros libres en el modelo mejora la bondad del ajuste, sin importar el número de parámetros libres en el proceso de generación de datos).

AIC se basa en la teoría de la información. Supongamos que los datos se generan por algún proceso desconocido f. Consideremos dos modelos candidatos para representar f: g₁ y g₂. Si conociéramos f, entonces podríamos encontrar la información perdida del uso de g₁ para representar f calculando la divergencia de Kullback-Leibler , D KL (f ‖ g₁), de manera similar, la información perdida del uso de g₂ para representar f sería obtenido calculando D KL (f ‖ g₂). Entonces nos volveríamos a elegir el modelo candidato que minimiza la pérdida de información.

AICc

Cuando el tamaño de la muestra es finito se utiliza la siguiente corrección:

${\displaystyle \mathrm {AICc} \,=\,\mathrm {AIC} +{\frac {2k^{2}+2k}{n-k-1}}}$

Referencias

• Akaike, Hirotugu (1974), «A new look at the statistical model identification», IEEE Transactions on Automatic Control 19 (6): 716-723, MR 0423716, doi:10.1109/TAC.1974.1100705 ..
• Akaike, Hirotugu (1980), «Likelihood and the Bayes procedure», en Bernardo, J. M.; et al., eds., Bayesian Statistics, Valencia: University Press, pp. 143-166 ..
• Anderson, D. R. (2008), Model Based Inference in the Life Sciences, Springer ..
• Brockwell, Peter J.; Davis, Richard A. (1987), Time Series: Theory and Methods, Springer, ISBN 0387964061 ..
• Brockwell, Peter J.; Davis, Richard A. (1991), Time Series: Theory and Methods (2nd edición), Springer, ISBN 0387974296 ..   Republished in 2009: ISBN 1441903194
• Burnham, K. P.; Anderson, D. R. (2002), Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach (2nd edición), Springer-Verlag, ISBN 0-387-95364-7 ..
• Burnham, K. P.; Anderson, D. R. (2004), «Multimodel inference: understanding AIC and BIC in Model Selection», Sociological Methods and Research 33: 261-304 ..
• Cavanaugh, J. E. (1997), «Unifying the derivations of the Akaike and corrected Akaike information criteria», Statistics and Probability Letters 31: 201-208 ..
• Claeskens, G.; Hjort, N. L. (2008), Model Selection and Model Averaging, Cambridge ..
• Fang, Yixin (2011). "Asymptotic equivalence between cross-validations and Akaike Information Criteria in mixed-effects models Archivado el 4 de marzo de 2016 en Wayback Machine.", Journal of Data Science, 9:15-21.
• Hurvich, C. M.; Tsai, C.-L. (1989), «Regression and time series model selection in small samples», Biometrika 76: 297-307 ..
• Lukacs, P.M., et al. (2007). "Concerns regarding a call for pluralism of information theory and hypothesis testing", Journal of Applied Ecology, 44:456–460. doi 10.1111/j.1365-2664.2006.01267.x.
• McQuarrie, A. D. R.; Tsai, C.-L. (1998), Regression and Time Series Model Selection, World Scientific, ISBN 981-02-3242-X ..
• Sugiura, N. (1978), «Further analysis of the data by Akaike’s information criterion and the finite corrections», Communications in Statistics - Theory and Methods, A7: 13-26 ..
• Takeuchi, K. (1976), «???», Suri-Kagaku (Mathematical Sciences) (en japonés) 153: 12-18 ..
• Yang, Y. (2005), «Can the strengths of AIC and BIC be shared?», Biometrika 92: 937-950 ..