MATEMÁTICAS

* Trabajo presentado en las XV Jornadas en Estadística e Informática de la ESPOL en Guayaquil, Ecuador, 2008. Los resultados previos a este trabajo se obtuvieron en el marco del proyecto de investigación Cálculo Eficiente del Estimador Jackknife para MínimosCuadrados Lineales, inscrito en la Vicerrectoría de Investigación de la Universidad del Valle.
** Profesor Titular, AA 25360, Depto. de Matemáticas, Universidad del Valle. hector.martinez@correounivalle.edu.co
*** Profesora Titular, AA 25360, Depto. de Matemáticas, Universidad del Valle. ana.sanabria@correounivalle.edu.co

Resumen

Palabras Claves: Estimador jackknife, Mínimos cuadrados lineales, Rango completo, Rango deficiente.

Abstract

In this article, we extend to the linear least squares problem of rank deficient, the result given in [MaSa06], which reduces from to m[3n + n²] the standard algorithm cost of computing the jackknife estimator for the linear least squares problem of full range.

Key words: Jackknife estimator, Linear least squares problem, full range, rank deficient.

1. Introducción.

Los estimadores basados en técnicas de remuestreo como el jackknife, por sus propiedades estadísticas [Ef94], [Ko.e88], [ShTu96], son cada vez mas usados, tanto  en general, como en particular, en el problema de mínimos cuadrados lineales [WeWe83], para reducir el sesgo de las estimaciones [Mi74], y estimar varianzas [Wo85] e intervalos de confianza [Kl.87], principalmente. Además, en las dos últimas décadas, este tipo de métodos han ganado importancia debido a las facilidades computacionales de los nuevos tiempos. Pero, como paralelamente ha aumentado la dimensión de los problemas a resolver, las facilidades computacionales no eximen de la necesidad de buscar algoritmos más eficientes para los cálculos. En [MaSa06], usando convenientemente propiedades básicas del álgebra lineal, se propone un algoritmo mucho más eficiente que el algoritmo standard para el cálculo de Estimador Jackknife para Mínimos Cuadrados Lineales (EJMCL), que funciona cuando el problema de estimación inicial es de rango completo.

En este artículo, proponemos una modificación al algoritmo propuesto en [MaSa06], de tal manera que conserve la eficiencia sin requerir condición alguna sobre el problema inicial ni sobre los subproblemas involucrados en la estimación jackknife.

Para lograr este propósito, inicialmente, recordamos la definición del estimador jackknife para el problema de mínimos cuadrados lineales de rango completo, luego presentamos el algoritmo standard para el cálculo del EJMCL y los aportes, en este sentido, hechos por Martínez y Sanabria [MaSa00] y [MaSa06]. Posteriormente, sin usar el supuesto de rango completo de la matriz inicial del Problema de Mínimos Cuadrados Lineales (PMCL), presentamos una nueva caracterización de la o las soluciones de los subproblemas de mínimos cuadrados (no necesariamente de rango completo), requeridas para el cálculo del EJMCL.  Finalmente, con base en este resultado, proponemos la modificación al algoritmo planteado anteriormente, la cual es el objetivo central de este artículo.

2. Estimador Jackknife para Mínimos Cuadrados Lineales(EJMCL).

Formalmente, dada Y₁, Y₂, · · · , Y_m, una muestra aleatoria de una población caracterizada por un parámetro un estimador de q, se calculan los estimadores para i = i, ·Â ·Â ·Â , m y luego se calcula el estimador

llamado estimador jackknife [BeYe91], [Ef94], [Mi74], [ShTu96], [Ko.e88].

donde , lo cual se conoce como el Problema de Mínimos Cuadrados Lineales (PMCL).

Así, el estimador jackknife para mínimos cuadrados es

]]>

donde _i  es tal que

3. Algoritmos para calcular el EJMCL.

Por lo descrito en la sección anterior, el algoritmo para calcular el EJMCL se divide en tres pasos:

Si las matrices A y A_i, para i = 1, · · · , m, son todas de rango completo, los problemas de los Pasos 1 y 2 se reducen a encontrar las soluciones únicas de las ecuaciones

]]>

para i = 1, · · · , m, En otras palabras, a calcular

para i = 1, · · · , m.

Para este caso, en [MaSa00], los autores proponen un algoritmo que reduce el costo de los cálculos de _i, una vez   está calculado.

Como soporte teórico de este algoritmo, con base en ciertas relaciones entre las matrices y los vectores involucrados [MaSa00] y la propiedad de matrices invertibles dada por Shermann-Morrison-Woodbury [DeSc83], Martínez y Sanabria obtuvieron el siguiente resultado.

]]>

Más tarde, para fortalecer el resultado anterior, en [MaSa06], los autores encontraron una caracterización del conjunto solución de , basada en la solución , independientemente de si la matriz A_i  es o no de rango completo.

Este resultado, les permitió a Martínez y Sanabria implementar una ligera modificación del segundo paso del algoritmo propuesto en [MaSa00], para seguir siendo eficientes en el cálculo del estimador jackknife para mínimos cuadrados lineales con la condición única que A sea de rango completo [MaSa06]:

Como este último algoritmo solo está garantizado si la matriz A es de rango completo, nos vimos obligados a continuar con la búsqueda de resultados que nos permitieran una caracterización de la o las soluciones de , basada en una solución de , independientemente de si las matrices A y A_i son o no de rango completo. A continuación, presentamos los resultados de esta búsqueda.

4. Caracterización del conjunto solución de .

]]>

de donde resulta obvio que si , entonces .

El Teorema 1 establece que si , entonces A_i  es de rango completo y

Al igual que en [MSa06] veamos que, en caso que s_i  = 0, utilizando el Lema anterior, podemos determinar algunas soluciones de .

Demostración: Usando la misma notación que en la demostración del Lema anterior, sea g ∈ R,

Usando la hipótesis s_i  = 0, por el Lema anterior, y por lo tanto

Demostración: Usando la misma notación que en la demostración del Lema anterior, si

Por tanto,

Así que

para algún gi ∈ R y un z_i  tal que Sz_i  = ai. Como _i  =  + g_iz_i  es solución de Sx_i  = d_i, entonces

Y puesto que S = d, entonces

Ahora, como Sz_i  = a_i, se tiene que

De aquí que , por el Lema anterior, g_i será cualquier número real, si s_i  = 0 (ver Teorema 3).

que es el escalar obtenido en el Teorema 1, demostrado en [MaSa00].

5. Algoritmo modificado y generalizado para el cálculo del EJMCL.

Los resultados anteriores nos permiten implementar una ligera modificación del algoritmo propuesto en [MaSa06] para seguir siendo eficientes en el cálculo del estimador jackknife para mínimos cuadrados lineales, aún en el caso que A sea de rango deficiente. Dicho algoritmo modificado y generalizado para calcular _i  aparece a continuación.

Al comparar este algoritmo con el propuesto en la Sección 5 de [MaSa06], podemos concluir que la diferencia aparece por la posibilidad que existe que A sea de rango deficiente y por lo tanto que el PMCL inicial tenga infinitas soluciones. En este caso, con base en una solución del problema inicial, podemos calcular una solución de los subproblemas requeridos para la estimación de jackknife, simplemente calculando una solución de A^T Az = a_iy un escalar apropiado (ver (2)).

Al igual que en [MaSa06], si s_i  = 0 (subproblema de rango deficiente), el subproblema tiene infinitas soluciones, en donde sugerimos tomar como solución la misma que se tomo para el problema inicial . En consecuencia, como se demostró en [MaSa00], este algoritmo reduce el costo de solución de los subproblemas aunque no sean de rango completo, de a m [3n + n²] el número de flops requeridos para el cálculo del estimador jackknife de mínimos cuadrados lineales (EJMCL) para un modelo lineal aún si este es de rango deficiente, siendo n el número de parámetros a estimar y m el tamaño de la muestra.

Es más, si no se necesitan los EMCL de cada una de las submuestras, se puede obtener el EJMCL sin calcular los EMCL, mediante la expresión

con la ventaja adicional de saber que algunos g_i  son cero, lo cual simplifica la sumatoria de la expresión anterior.

6 . Conclusiones

En este artículo, se ha caracterizado completamente el conjunto solución de los subproblemas de mínimos cuadrados lineales que resultan en el cálculo del estimador jackknife de mínimos cuadrados lineales de un modelo lineal, aún en el caso que éste sea de rango deficiente.

Este resultado permite modificar el algoritmo propuesto en [MaSa06] para calcular el mencionado estimador, sin requerir que ninguno de los problemas involucrados (inicial o subproblemas) sean de rango completo, manteniendo la misma eficiencia de computo.

Al igual que en [MaSa00], este resultado permite hacer cálculos más eficientes siempre que el algoritmo que se utilice para resolver los diferentes subproblemas de mínimos cuadrados lineales requeridos por el estimador jackknife sea el mismo que se utilice para resolver el problema de mínimos cuadrados lineales inicial.

Queda como un reto para nosotros y nuestros lectores, desarrollar una teoría similar que permita caracterizar las soluciones de los subproblemas de mínimos cuadrados para el caso generalizado del estimador jackknife en el cual se elimina más de una observación de la muestra inicial para plantear los subproblemas (Estimador jackknife agrupado).

7 . Agradecimientos

Nuestros agradecimientos al Departamento de Matemáticas de la Universidad del Valle por el apoyo logístico y económico tanto para el desarrollo como para la divulgación del presente trabajo. También, nuestro reconocimiento y agradecimientos al evaluador anónimo de la version original de este trabajo por sus sugerencias para mejorar la presentación de los resultados.

[BeYe91] Behar, R. y Yepes, M. (1991) Sobre algunas técnicas de remuestreo: El método de jackknife. Heurística, No 6, Págs. 49-58        [ Links ]

[DeSc83] Dennis, J.E. & Schnabel, R.B. (1983) Numerical methods for unconstrained optimization and nonlinear equations. Prentice Hall, New Jersey, USA.         [ Links ]

[Ef94] Efron, B. (1994) The Jackknife, the Bootstrap and Other Resampling Plans CBMS-NSF Regional Conference Series in Applied Mathematics, No. 38, Sixth Edition, SIAM, Philadelphia, PA, USA.         [ Links ]

[Kl.e87] Kleijuen, JPC., Karremans, P. Oortwinj, W., Van Groennendaal, W. (1987) Jackknifing estimated weighted least squares, Communications in Statistics: Theory and Methods v.16, Pags. 747-764.         [ Links ]

[Ko.e88] Kovar, J., Rao, J. & Wu, CFJ. (1988) Bootstrap and other methods to measure errors in survey estimates, Canadian Journal of Statistics 16, Pág. 26-45.         [ Links ]

[MaSa00] Martínez, H.J. y Sanabria A.M. (2000) Cálculo eficiente del estimador jackknife para mínimos cuadrados lineales bajo condiciones de unicidad. Matemáticas: Enseñanza Universitaria, Vol VIII, Nos 1 y 2, Págs. 29-43.         [ Links ]

[MaSa06] Martínez, H.J. y Sanabria A.M. (2006) Cálculo eficiente del estimador jackknife para mínimos cuadrados lineales de Rango Completo. Revista de la Academia Colombiana de Ciencias Exactas, Físicas y Naturales, Vol XXX, Pág. 361-365.         [ Links ]

[Mi74] Miller, R.G. (1974) The Jacknife: a review. Biometrika 61, Pags. 1-15.         [ Links ]

[ShTu96] Shao, J. and Tu, D. (1996) The Jackknife and the Bootstrap, 2nd Printing, Springer Series in Statistics, New York. USA.         [ Links ]

[WeWe83] Weber, N.C. & Welsh, A.H. (1983) Jackknifing the general linear model, Australian Journal of Statistics 25, No. 3, Pags. 425-436.         [ Links ]

[Wo85] Wolter,   K.M., (1985) Introduction to variance estimation, First Edition, Statistics for Social and Behavioral Science, Springer, New York, USA.         [ Links ]

Recibido: 10 de agosto de 2012
Aceptado para publicación: 5 de diciembre de 2012