Regresión Logística para Clasificación

La Regresión Logística es una técnica de aprendizaje automático para clasificación. Es una red neuronal en miniatura. De hecho, la regresión logística, se trata de una red neuronal con exactamente una neurona.

Matemáticas de la Regresión Logística

Podemos representar lo que hace la regresión logística en la siguiente figura:

Los valores de x corresponden los distintos atributos de nuestro problema. Por ejemplo, si queremos saber si un correo electrónico es deseado o no deseado (spam), los valores de x podrían corresponder con cuántas veces aparece cada palabra en un texto. La predicción y sería la probabilidad de que el correo sea no deseado.

Matemáticamente, lo podemos formular de esta forma:

y=\sigma(z) = \sigma(WX) = \sigma(\sum(w_i x_i)) = \sigma(\sum(w_0 x_0 + w_1 x_1 + ... + w_n x_n))

Como ves, la regresión logística tiene dos partes:

1. una combinación lineal (a la izquierda de la neurona)
2. aplicación de la función logística (a la derecha de la neurona)

Así que todas las entradas se combinan con una línea con los coeficientes w. Y luego se aplica la función logística (también llamada sigmoide) al resultado.

Función logística

La función logística, o sigmoide, se representa en la siguiente figura.

Matemáticamente, la función logística o sigmoide, se puede expresar:

\sigma(z) = \frac{1}{1 + e^{-z}}

Características de la función logística

• Está acotada entre 0 y 1. Su valor mínimo es 0 y el máximo es 1.
• Podemos interpretar sus resultados como probabilidades (por ejemplo, una probabilidad 0.85 de que el correo sea spam)
• Para problemas de clasificación binaria, podemos suponer que los valores menores de 0.5 corresponden a la clase 0 y los superiores a 0.5 a la clase 1.

Curiosidades

La parte de «regresión» en regresión logística podría dar la impresión de que se trata de una técnica de regresión. Sin embargo, recibe este nombre por motivos históricos. Al principio de la neurona, se hace un combinación lineal que se parece mucho a una regresión lineal. Y luego se aplica la función logística. Así que así surgió el nombre, regresión logística.

La función de coste de la Regresión Logística

El aprendizaje se realiza con optimización numérica, por ejemplo, con gradiente descendiente. No hay ninguna fórmula que nos de los coeficientes óptimos W, sino que tenemos que estimarlos. La función de coste que optimizamos es la siguiente:

J=-\frac{1}{m}\sum_{i}^{m}{y_i log(\hat{p_i}) + (1-y_i)log(1-\hat{p_i})}

También podemos incluir términos de regularización en el proceso de aprendizaje.

Aplicaciones de la Regresión Logística

La regresión logística es un método de clasificación muy simple y efectiva para muchos problemas. Es fácil de interpretar y podemos inspeccionar qué factores contribuyen más a obtener qué tipo de resultados.

Cuando estuvimos analizando las noticias de portada de menéame, usamos regresión logística para predecir la probabilidad de que una noticia tuviese muchos meneos o muchas visitas. Puedes leer el artículo entero aquí.

Resumen

La regresión logística es una técnica de aprendizaje automático relativamente sencilla. Sus resultados son interpretables y es muy usada en industria. Funciona muy bien cuando hay muchísimos datos y las interrelaciones entre ellos no son muy complejas. Admiten el uso de regularización para generalizar mejor.

Recursos

• Instrucciones de cómo usar la Regresión Logística en Python
• [vídeo] donde explico cómo funciona la regresión logística (en inglés)
• La implementación de LogisticRegression en la librería de python scikit-learn