Modelos de regresión de variable cualitativa

Se refiere a modelos donde la variable dependiente tiene naturaleza cualitativa mientras que las variables regresoras pueden ser cuantitativas o cualitativas. Por ejemplo, se puede estudiar si se tiene vivienda o no, si se tiene una enfermedad o no, aunque también es posible tener modelos donde la variable dependiente puede ser tricotómica o politómica.

El concepto resulta ser diferente dado que cuando Y es cuantitativa se busca estimar su valor esperado, cuando Y es cualitativa se busca encontrar la probabilidad de que cierto acontecimiento suceda.

Este tipo de modelos se pueden estimar por 4 diferentes métodos:

• Modelo lineal de probabilidad
• Modelo Logit
• Modelo Probit

 Modelo de Probabilidad lineal 

Un modelo de probabilidad lineal (MPL)se representa de la siguiente manera:

Yi = ß1 + ß2Xi + ui

Donde, Y representa un acontecimiento que puede o no suceder (Tener o no tener vivienda) por lo que Y puede ser Y=1 si se cumple, o Y= 0 si es el caso contrario.

La interpretación viene dada por la probabilidad condicional de Y dado que se cumpla o no Xi. Sin embargo, el MPL presenta dificultades de origen teórico. En primer lugar:

• Los errores no tienen una distribución normal, lo anterior implica que no es posible realizar estimaciones por medio de MCO
• La varianza del error no es contante, lo que implica que los errores están en función de los valores de X llevado a una varianza heterocedastica y a estimadores, aunque insesgados, ineficientes.
• Es posible obtener valores sin interpretación lógica como modelos con probabilidad mayor a 1 o menor a 0 dado que MCO no tiene en cuenta la condición de mantener un rango entre 0 y 1.

Ejemplo práctico Rstudio

La base de datos “insurance.csv”, extraía de la página: econometric academy contiene datos acerca de si se tiene un seguro médico tomando como variables explicativas el ingreso, los años de educación, si está casado, si es hispano y si la persona se encuentra retirada.

Lo primero para realizar el análisis en el software Rstudio es identifica que tipo se base está trabajando ya que de esto depende el comando a utilizar. En este caso se trata de una base en formato .csv  por lo que se cargará la base de la siguiente manera:

El argumento file.chooose(), abre una ventana de navegación para escoger el archivo que se está buscando, es importante recordar que es posible que la ventana no emerja sobre la ventana en la que se está trabajando por lo que hay que buscarla. El símbolo de STOP en el parte superior derecha de la consola indica que el programa está esperando a que la base de trabajo sea escogida.

Posteriormente para abreviar el codigo y permitir el nombramiento directo de las variables en R, se fija la base de datos en el programa por medio del commando attach. Sin embargo, hay que tener en cuenta que no deben haber otras bases fijadas en el sistema para evitar el conflicto entre ellas. 

El modelo de probabilidad lineal como se mencionó antes, es equivalente a la regresión lineal, solo que este tiene la particularidad de tener como variable dependiente una variable dicotómica. Por lo tanto, la diferencia de estos surge en la explicación de los resultados, además este modelo tiene dificultades teóricas mostradas anteriormente, por lo que lo usual es utilizar un modelo logit o probit

La función que permite realizar una regresión lineal es lm(variabledepenendiente~variables1+varibale2….)

Por medio del comando summary se obtiene un resumen de los resultados de la regresión, siendo de especial importancia la significancia de las variables.

Obteniendo el siguiente resultado en la consola de R

Aceptando un nivel de significancia del 5%, que en R está representado por * hasta ***, muestra que casi todas las variables son significativas, no obstante,hay coeficientes negativos, lo que no tiene una explicación lógica. Dado lo anterior, es recomedable utilizar modelos logit y probit, los cuales utilizan una distribución estadística que cumple la condición de estar acotada de manera adecuada, es decir entre 0 y 1.

Modelos de probabilidad no lineal: logit y  probit

Con el fin de cumplir con la condición de modelos cuya respuesta se encuentre en 0 y 1, y por tanto que arrojen una conclusión lógica, se utilizan funciones de distribución como la función logística como es el caso del modelo logit.

El modelo tendría la forma:

 En el caso del modelo probit, se supone una relación no lineal distinta, pero muy parecida al modelo logit pero se utiliza una función de distribución normal, dando como resultado: 

Dado que las curvas de ña distribución logística y la distribución normal no difieren mucho entre si los resultados derivados de estimar con cada modelo son muy similares.

La interpretación de los modelos logit y probit se puede realizar en términos probabilísticos, sin embargo, hay que tener en cuenta que en la interpretación de los parámetros obtenidos por medio de modelos logit y probit, solo se tiene en cuanta el signo ya que este indica la variación de la probabilidad cuando aumenta la variable explicativa correspondiente, pero la magnitud de este aumento de probabilidad no coincide con el parámetro.

 Con el fin de facilitar la interpretación de los parámetros se acude a la construcción de odds ratios, que se refieren al número de veces que es más probable que ocurra un fenómeno frente a que no ocurra. Los odds ratio estarían representados de la siguiente manera (cociente de probabilidades):

La interpretación de los odds ratios se realiza basados en que su valor sea mayor, menor o igual a 1, de manera que:

• Menor a 1: la ocurrencia de la alternativa 1 tiene menor probabilidad que la ocurrencia de la alternativa 0.
• Igual a 1: la ocurrencia de las alternativas 1 y 0 tienen igual probabilidad de ocurrencia.
• Mayor a 1: la ocurrencia de la alternativa 1 es tiene mayor probabilidad de ocurrencia que la alternativa 0.

Una regresión logística es un modelo lineal del logaritmo de los odds ratio de éxito por lo que una unidad de incremento en la la variable explicativa va a resultar en un aumento o descenso de los valores futuros de odds, mateniendo el resto de variables constantes.

Ejemplo práctico en R Studio: Modelo Logit

Se utilizará la misma base de datos, por lo que no es necesario cargarla de nuevo. En caso de tener una base diferente es importante quitar de la memoria la base anterior por medio del comando

El comando que permite realizar la estimación utilizando un modelo logit o probit es “glm” cuyos argumentos son:

El primer elemento es la regresión de las variables, en este caso, ins esta explicada por el comportamiento de retire,age, hstatusg, hhincome, educyear, married y hisp (exactamente igual al modelo de probabilidad lineal). Sin embargo, por medio del argumento “family=(binomial(link=logit)” se está indicado que se utilizará un modelo logit, lo que implica que se está utilizando una distribución logística.

Por medio de summary obtenemos un resumen de las características del modelo.

Al igual que en ejemplo anterior, de * a  *** significa que las variables son significativas para el modelo al menos en un 5%. En este caso la interpretación de los coeficientes varía a la realizada cuando se trata de un modelo de regresión lineal.

La magnitud del coeficiente en este caso no tiene interpretación, lo que se puede determinar por medio de los resultados es si una variable aumenta o disminuye la probabilidad de cumplir o no con la variable independiente en este caso ins. Así, por ejemplo, si una persona es retirada tiene mayor probabilidad de estar asegurada, o entre más años tenga menos probable es que adquiera un seguro. Por lo que una persona mayor que ha permanecido sin seguro prefiere seguir sin él.

Es útil también utilizar los odds ratio para explicar la relación de probabilidad entre las variables, para el caso del modelo logit, se procede de la siguiente manera:

El anterior comando realiza la funcional exponencial de los coeficientes del objeto logit, al cual se ingresa por medio del operador lógico $. El resultado obtenido es:

De manera similar, se puede interpretar que es mayor la probabilidad de que las personas retiradas tengan seguro, a la probabilidad de que las personas retiradas n tengan seguro.

co o tesis: el aumento de una unidad de nivel de ingresos y si el resto de variables se mantuvieran constantes, aumentaría los odds de votar al partido liberal en 1,508 veces más que si no se aumentara esa unidad del nivel de ingresos

La interpretación de los coeficientes es una parte muy importante y es de gran ayuda en la regresión lineal por lo que en modelos logit y probit es importante también poder realizarla, para esto se procede utilizando los efectos marginales. En el caso de una regresión lineal estos coinciden con los coeficientes del modelo, para el caso del modelo logit se procede de la siguiente manera:

El anterior commando guarda en objeto llamado logitvec, la media de un vector compuesto por los valores futuros del modelo logit utilizando la distribución logística.

Posteriormente, el vector es multiplicado por los coeficientes del modelo logit para obtener los efectos marginales del modelo, cuyas magnitudes si pueden ser interpretadas.

Gracias a esta operación es posible obtener interpretaciones de magnitudes en los modelos logit. Por ejemplo, si la persona es retirada en un 4,2% más probable que se encuentre asegurada, de esta manera es más clara la relación de causalidad, por ejemplo que variables tienen más influencia en el cumplimiento o no de la variable dependiente.

Para calcular la bondad de ajuste de este modelo es necesario una medida diferente al R², dado que no se trata de modelos lineales, comúnmente se utiliza R²  de Mc Fadden, la intuición detrás de esta medida es que si el modelo tiene una capacidad explicativa muy baja la probabilidad será muy similar a la regresión de la independiente contra 1. 

Entre más explicativo sea el modelo, el número resultante debe ser más cercano a 1.

En R el primer paso consiste en realizar la regresión de la variable dependiente explicada por la constante 1, esta se guarda en un objeto, en este caso logitp. Posteriormente en otro objeto se realiza la operación correspondiente al cálculo del R Mc Fadden, la cual utiliza el likelihood de ambos modelos, el logit inicial (con variables explicativas diferentes) y el logit estimado igualando a la constante 1.

Finalmente, se obtiene un Mc Fadden de 0.067 el cual no es cercano al valor 1, que corresponde a un modelo que explica la totalidad de la relación, por lo que se puede concluir que el modelo no tiene un buen ajuste. 

Ejemplo práctico en R Studio: Modelo probit

 Como se vio a partir de la teoría, los modelo logit y probit resultan bastante similares, en consecuencia, pertenecen al mismo grupo de funciones en R, por lo que la sintaxis de la función es bastante parecida y se podrá observar por medio del ejemplo que los coeficientes obtenidos son también, bastante similares.

Nuevamente, el primer paso es cargar la base de datos, que para efectos pedagógicos y de comparación será la misma utilizada anteriormente. Posteriormente, se procede a estimar el modelo, la función a utilizar es “glm”, y la sintaxis es similar a la utilizada para el modelo logit, ña variable independiente ins explicada por retire, age, hstatusg, hhincome, educyear, married y hisp, pero en el argumento “family” se indica que el modelo a utilizar es el probit y por ende se utiliza un probabilidad normal.

 Por medio de summary, se obtiene el resumen del modelo:

Nuevamente, entre * y *** muestran que las variables son significativas al 5%, y la magnitud de los coeficientes no tiene interpretación, sin embargo, el signo de estos sí. Un signo positivo significa que la variable escogida aumenta la probabilidad de ocurrencia de la dependiente. Por ejemplo, es más probable que una persona retirada tenga seguro.

Para poder interpretar la magnitud de los coeficientes es necesario el análisis de los efectos marginales que estos tienen, que se lograr por medio del siguiente procedimiento:

EL objeto probitvec guara la media de los valores futuros del modelo probit utilizando una distribución normal. La multiplicación de este valor por los coeficientes del modelo llamado probit, arroja los efectos marginales que pueden ser interpretados de manera más intuitiva y arroja relaciones más claras de causalidad.

 De los resultados obtenidos, se puede extraeré que una persona retirada tiene 4.19% más probabilidades de estar asegurada. Lo anterior evidencia que si bien, los coeficientes de los modelos pueden ser diferentes, los efectos marginales son bastantes similares. Para el modelo logit se obtuvo en la  variable (retirado) una probabilidad del 4,12%  y el modelo probit un 4.2%.

De manera similar al modelo logit para el modelo probit se define la regresión de la variable dependiente explicada por la constante 1, esta se guarda en un objeto, en este caso probitp. Posteriormente en otro objeto se realiza la operación correspondiente al cálculo del R Mc Fadden, la cual utiliza el likelihood de ambos modelos, el probit inicial (con variables explicativas diferentes) y el probit estimado igualando a la constante 1.

Finalmente, se obtiene un Mc Fadden de 0.068 el cual no es cercano al valor 1, que corresponde a un modelo que explica la totalidad de la relación, por lo que se puede concluir que el modelo no tiene un buen ajuste, se confirma por medio de los resultados en ambos modelos que las variables explicativas no son adecuadas para el comportamiento de la dependiente.

Logit o probit?

Como es posible observar en las estimaciones anteriores, los modelos logit y probit resultan bastante similares. Sin embargo, por la facilidad de interpretación de los odds ratios, las estimaciones por medio de logit son más usuales. Se suele estimar por medio de los dos modelos, ya que los paquetes econométricos facilitan esta labor y basados en la verosimilitud se decide qué modelo usar.   

Modelos de series de tiempo multivariadas

Un modelo VAR (vector autoregresivo) es generalmente utilizado cuando se desean encontrar relaciones simultaneas en un grupo de variables, permitiendo así estimar un sistema de ecuaciones, a diferencia de los modelos ARIMA tradicionales que permiten estimar sólo una ecuación. El modelo VAR es especialmente útil cuando las relaciones entre variables se transmiten a varios periodos, corrigiendo los problemas de endogeneidad (simultaneidad entre variables) y mostrando la interrelación dinámica que hay entre las variables estacionarias. Vale la pena mencionar que no se debe confundir con VaR (Value at risk).

Así, la relación entre y_t e x_t será explicada por las siguientes ecuaciones:

y_t = B₁₀ +B₁₁x_t-1 + B₁₂y_t-1 + u_t y

x_t= B₂₀ + B₂₁y_t-1 + B₂₂x_t-1+ u_t x

Las ecuaciones muestran que la variable y es explicada por rezagos de x y de sí misma; y de igual manera la variable x es afectada por rezagos de y y de sí misma, de manera que no es posible distinguir entre variables endógenas y variables exógenas . Un VAR(1) se refiere a un modelo cuyo máximo rezago es 1.

Al igual que cuando se trabaja con series de tiempo univariadas del tipo ARIMA, lo primero que se debe hacer es verificar si la serie está integrada; esto es, si tiene raíz unitaria. Si hay raíces unitarias, se debe examinar la posible existencia de una relación de cointegración, donde se dice que dos o más series no estacionarias están cointegradas si tienden a moverse juntas a lo largo del tiempo. De esta manera, la estimación de un modelo de series de tiempo multivariadas se resume de la siguiente manera:

• VAR en niveles: se utiliza cuando las series no están integradas ni cointegradas.
• VAR en diferencias: se debe utilizar cuando las variables están integradas (de al menos primer orden), pero no cointegradas.
• VEC (Vector Error Correction) se debe utilizar cuando las variables están integradas y están cointegradas.do las variables están integradas (de al menos primer orden), pero no cointegradas.

Los riesgos asociados al no considerar estos dos problemas aluden a caer en un problema de regresión espuria y/o variable omitida.

En un modelo VAR estimado no tiene sentido tratar de interpretar los signos y las magnitudes de los coeficientes individuales. Por el contrario, hay que utilizar estadísticos globales, que traten de resumir con carácter agregado la influencia de unas variables sobre otras, aunque no es 100% necesario, ya que los modelos VAR son especialmente utilizados con fines predictivos.

Además, es común el uso de modelos VAR para crear funciones impulso-respuesta, pues tienen como fin evaluar el impacto de un choque a largo plazo; del mismo modo, es útil realizar pruebas de causalidad de Granger, la cual determina si la variable X causa en sentido de Granger a la variable x, de manera que el comportamiento de Y pueda ser pronosticado por el comportamiento de x.

Ejemplo práctico en R studio: modelo VAR

El primer paso es subir la base de datos, que en este caso se encuentra en formato Excel por lo que es necesario instalar un paquete, en caso de que este ya esté instalado bastara solo con activarlo, lo anterior se logra por medio de los siguientes comandos:

Posteriormente gracias a la función “read_excel” que se encuentra en ese paquete es posible cargar base con formal .xls, como se procede a continuación:

Una vez escogida la base en la ventana de navegación, se procede a definirla en R como una serie de tiempo por medio de la función ts cuyos argumentos son: En primer lugar la base de datos utilizada, en este caso guardado en el objeto con nombre VAR; el siguiente argumento se refiere al año de inicio de los datos en la base de datos y por último el comando “freq=” el cual se refiere a número de observaciones por unidad de tiempo. Por ejemplo, los datos en la base de datos son trimestrales por lo que la frecuencia es de 4 al año, si estos fueran mensuales la frecuencia correspondería a 12. 

Como suele hacerse cuando se trabaja con series de tiempo, el primer procedimiento corresponde a la gráfica de cada una de las series, esto con el fin de identificar el comportamiento general de la serie, por ejemplo si esta presenta estacionareidad o no. Con el fin de facilitar el trabajo con la base de datos, la fijamos en la memoria con attach, siempre teniendo la precaución de no tener más bases fijadas, para realizar lo gráficos se utilizará el comando plot.ts, cuyos argumentos se refieren: em primer lugar se escoge el objeto varts (que corresponde la serie de tiempo definida), de este objeto se extrae todas las columnas  a excepción de la primera dado que no es de interés graficar la fecha, el argumento main, se refiere al titulo que se desea tengo la totalidad del gráfico, por último a través del argumento col es posible escoger el color que se desea tenga el gráfico.

A través de los gráficos es posible evidenciar que las series no son estacionarias, por lo que es necesario realizar una diferenciación, que se realiza utilizando la función diff(), posteriormente se graficara de nuevo, para comprobar que las series diferenciadas sean estacionarias:

Con las nuevas gráficas es posible observar que las series diferenciadas parecen tener un comportamiento estacionario.

Una vez las son series son estacionarias, lo cual es requisito para la correcta estimación de un VAR se procede a realizar la estimación en R, para esta es necesaria la instalación del paquete “vars”

Para determinar el número de rezagos que sería optimo utilizar, se utiliza la función VARselect, el cual informa sobre el Criterio de información de Akaike (AIC), Criterio de informacion de Hannan y Quinn (HQ), el criterio información bayesiana de Schwarz (SC) y el error de predicción final de Akaike (FPE), entre más pequeños sean estos mejor es el modelo.

Se utilizará la función VAR cuyos argumentos son: en primer lugar, el objeto que contiene la serie de tiempo diferenciada, el argumento p se refiere al número de rezagos que se incluirán en el modelo, finalmente el tipo de regresores que se incluirán, las opciones son "const", "trend", "both" y "none".

Sin embargo, la base de datos tiene una columna de datos que debe ser eliminada para evitar errores de estimación matemática, este procedimiento se realiza con el siguiente comando, el cual reemplaza el objeto vartsdif por la misma base extrayendo la primera columna.

Para obtener un resumen del modelo se utilizará el comando “summary”, el cual muestra también la significancia de las variables.

Es posible también obtener el resumen por cada ecuación:

summary(ModeloVAR, equation="IPC")

En la parte superior las raices indican estabilidad en el modelo dado que son menores a uno. Se presentan la significancia de cada coeficiente en cada ecuación. También informa del error cuadrático medio o error estándar de los residuales y el coeficiente de determinación para cada ecuación. Los estadísticos indican poco ajuste, dado que la prueba F muestra no significancia global. Por último se presentan las matrices de covarianza y correlación de los residuales.

Pruebas al modelo

Para ver si el modelo cumple con estacionareidad de múltiples variables. Al ser todas menores que uno este modelo cumple con el supuesto de estacionareidad. 

Comprobación de la autocorrelación en los errores

Se utilizará la prueba Breusch- Godfrey, por medio del comando serial.test

Se confirma la no autocorrelación de los errores

Prueba de normalidad de los errores 

Para realizar la prueba de normalidad de los errores se utiliza el comando normality.test, cuyos argumentos indican: en primer lugar el objeto que contiene al modelo VAR estimado, posteriormente se indica si se desea usar solo estadísticos multivariados.

En este caso se obtuvieron los estadísticos tanto multivariados como univariados. Dados los resultados es posible determinar que el modelo no tiene una distribución normal de los errores

 Prueba de causalidad de granger

La prueba de causalidad de Granger determina si una variable causa a otra en el sentido de granger, siendo Ho:X no causa en el sentido de Granger a Y, de lo que se puede extraer que X no sirve para pronosticar el comportamiento de y por lo que no sería adecuada para observar el comportamiento de impulso respuesta.

En R el código utilizado es grangertest, cuyo primer argumento se refiere a la variable que va a ser explicada en relación (~) a la variable explicativa, “order” se refiere al número de rezagos incluidos en el modelo, se le indica también de que base de datos se están extrayendo los datos:

grangertest(Imp~ PIB,order=1,data=vartsdif)

Los anteriores resultados muestran que PIN no causa en el sentido fe grenger a Imp, mientras que IPC si causa a Imp en el sentido de grenger con un nivel de significancia del 5%

Predicción

Es necesario instalar y activar el paquete “forecast”, para utilizar la función predict cuyos argumentos son: el modelo con el cual se va a pornosticar, los periodos a pronosticar y los intervalos de confianza.

install.packages("forecast")

library(forecast)

pronovar<-predict(ModeloVAR, n.ahead = 10, ci = 0.95)

MODELO VEC

Cuando la regresión de series no estacionarias conduce a un estimador MCO correcto quiere decir que las series están cointegradas, esta situación permite que la combinación lineal de dos o más series no estacionarias, sea estacionaria.

La interpretación de las series cointegradas puede ser la relación de equilibrio a largo plazo entre las variables consideradas, por lo que encontrar estas relaciones puede ser muy útil en el campo económico

Dentro de la cointegración se puede observar la relación a largo plazo y la dinámica de las variable es en el corto plazo en el sentido de: la relaciones entre la variable explicativa respecto a la tendencia del corto plazo y las desviaciones de la variable explicada respecto a la tendencia de corto plazo, por lo anterior diferenciar los datos sería perjudicial ya que elimina la tendencia de las variables, el modelo VEC (vector de corrección de error) conserva toda la información.

Ejemplo práctico en R

Lo primero es subir la base de datos a R, ya que está en fromato Excel se usará la función read_excel:

Se define el objeto serie de tiempo en R teniendo en cuenta que la base tiene datos mensuales desde enero de 1980 hasta diciembre de 1998

Se realizan los graficos de las series para si hay relación de comportamiento entre las dos variables 

Se puede observar que el comportamiento de las dos variables está bastante relacionada:

El primer paso para estimar un VEC es determinar los rezagos del modelo para lo cual se utiliza el comando VARorder, el cual arroja según criterios de información ya mencionados anteriormente cuantos rezagos se sugieren. Para utilizar esta función es necesario  instalar y activar el paquete “MTS”

El siguiente paso identificar el número de cointegraciones, en el objeto coi se utiliza la función ca.jo que utiliza el objeto veectsdif, por medio del comando summary, se obtiene información más detallada de la prueba:

En la salida anterior, se rechaza la hipótesis nula de no cointegración y no rechazamos la hipótesis nula de a lo sumo una ecuación de cointegración. Por lo tanto concluimos que hay una ecuación de cointegración en el modelo bivariado.

Estimación del modelo VEC, se crea un objeto que contendrá el modelo, por medio de la función cajorls cuyo primer argumento es el objeto que determina el número de cointegracioes y cuyo segundo elemento es el rango de cointegración, se estimará el modelo

Por último, se muestran la significancia de los coeficientes obtenidos mediante el modelo VEC estimado.