La Agencia Espacial Europea ha creado una competición de machine learning para predecir el riesgo de colisión entre basura espacial y satélites de observación de la Tierra. La competición empieza oficialmente el 16 de Octubre. A partir de ese momento será posible descargar los datos y enviar soluciones. La competición finaliza el 16 de Diciembre de 2019.
Índice
Basura Espacial
El espacio no está tan vacío como solía estar. Más de 34.000 elementos de desechos espaciales de más de 10 cm orbitan nuestro planeta. La Red de Vigilancia Espacial de Estados Unidos mantiene un catálogo de unos 22.300 de estos objetos y sus trayectorias y los monitorea con ayuda de telescopios y radares.
En órbitas con mucho tráfico, la prevención activa de colisiones se ha convertido en una tarea rutinaria en las operaciones espaciales. Los datos de vigilancia espacial revelan riesgos potenciales de que un satélite colisione con otro objeto espacial a varios kilómetros por segundo, ya sea con otro satélite o con basura espacial.
Créditos: ESA
El número de objetos según su tamaño es el siguiente:
- > 1 metro: 5.400 objetos
- > 10 centímetros : 34.000 objetos
- > 1 centímetro: 900.000 objetos
- > 1 milímetro: 130.000.000 objetos
Descripción del problema
Cuando se propagan las órbitas de los satélites, también se comprueba si hay riesgo de colisión con alguno de los objetos del catálogo de basura espacial. En el caso de que haya algún riesgo, se prepara un mensaje de conjunción (CDM por sus siglas en inglés: Conjunction Data Message). Cada CDM contiene varios atributos acerca de la posible colisión tales como la identidad del satélite afectado, el tipo de basura espacial, cuándo se prevé que sea la colisión, la incertidumbre, etc. Además también contiene el riesgo estimado en ese momento, que se calcula con algunos de los atributos del CDM. En los días posteriores al primer CDM, a medida que las incertidumbres de las posiciones de los objetos van disminuyendo, se crean otros CDM que van refinando el conocimiento que vamos adquiriendo sobre la posible colisión.
Típicamente, la serie temporal de CDMs de cada posible colisión cubre una semana. En media tiene unos 3 CDMs por día. Para cada posible colisión, el último CDM, incluyendo el riesgo calculado, es la información más exacta que se tiene sobre la posible colisión entre los dos objetos en cuestión. In la mayoría de los casos, la Oficina de Basura Espacial alertará a los equipos de control 2 días antes de la colisión potencial para empezar a pensar en hacer maniobras que eviten la colisión. La decisión final sobre la maniobra se hará típicamente 1 día antes de la posible colisión.
En esta competición de machine learning, se pide construir un modelo que use la historia de los CDM hasta 2 días antes de la posible colisión y se prediga cuál será el riesgo final (el riego final es el riesgo que aparece en el último CDM antes del tiempo de colisión).
Evaluación de la solución
La calidad de la solución de mide considerando el error cuadrático medio (MSE) y F2. En particular, con el ratio MSE / F2.
- El error cuadrático medio (MSE) va a indicar cómo de cerca la predicción del riesgo en comparación con el riesgo actual.
- La medida F2 es una variante de F1 que penaliza más los falsos negativos.
En principio, el error cuadrático medio sería suficiente. Lo que ocurre, es que es el mismo error tiene significados diferentes dependiendo en qué parte de la escala de riesgo se encuentre. Por ejemplo, si en realidad el riesgo el 10-20 y el modelo predice que el riesgo será 10-23, no tiene ningún impacto en la práctica. Sin embargo, si el riesgo en realidad fuera 10-3 y el modelo predice 10-6 sería más grave.
Por eso se usa F2 usando 10-6 como límite. De esta forma, resulta muy importante clasificar si tendremos un error alto (mayor que 10-6) o bajo (menor que 10-6).
Además, el error cuadrático medio sólo se calcula para los casos en el que el riesgo real sea alto.
Participación
Para participar, sólo tienes que inscribirte (gratuitamente) en la plataforma kelvins. Es muy parecida a kaggle en cuanto a su funcionamiento.
A tener en cuenta
Una de las dificultades de este problema es que hay muy pocos eventos que tengan un riesgo muy alto de colisión. La mayoría de las posible colisiones conllevan poco riesgo. Esto está muy bien para los satélites, pero supone un el conjunto de datos está muy desbalanceado.
Suerte!
Esperamos que os divirtáis tanto resolviendo este desafío como nosotros preparándolo. Como os podéis imaginar, hemos empleado un tiempo en preparar los datos, decidiendo qué predecir, decidiendo cómo evaluar los resultados … y también intentando resolver este problema como si fuésemos uno de los participantes en este desafío de machine learning para asegurarnos de que todo iba a ir estupendamente.
Mucha suerte y espero veros pronto en el «Leaderboard».
Actualización
La competición terminó. Puedes leer nuestro análisis de la competición y los resultados en el paper Spacecraft Collision Avoidance Challenge: design and results of a machine learning competition