Lo que vimos en ECML & PKDD 2017

Elena Tomas Herruzo

d&a blog

El pasado septiembre tuve el placer de asistir a la European Conference on Machine Learning (ECML), que se ha venido celebrando simultáneamente junto con la conferencia Principles and Practice of Knowledge Discovery in Databases (PKDD) durante los últimos 13 años.

En esta edición, la conferencia se celebraba en Skopje, donde nos recibieron con una hospitalidad admirable, dícese típica de los Balcanes. La capital de Macedonia es una ciudad vívida, moderna y con una gran oferta cultural en su zona céntrica, mientras que es extremadamente tranquila y apacible en cuanto te alejas unas cuantas cuadras (como bien refleja la fotografía). Está situada en un paraje maravilloso, rodeada de verdes colinas en todo su perímetro.

Aunque la conferencia es europea (tiene otra edición internacional), muchos de los asistentes vienen desde todas partes del mundo. Por ello tuve la oportunidad de conocer gente de Francia, Reino Unido, Rusia, Estados Unidos, Corea.. y de compartir el conocimiento y el tiempo libre con ellos. ECML es una conferencia grande (400-500 asistentes), que tiene 5 sesiones simultáneas; algunas de ellas con un público de 30-40 personas, lo que en mi opinión diluye un poco el nivel de algunas de las charlas. Por ello, es bastante útil poder compartir las charlas más interesantes con personas que asisten a diferentes sesiones.

Lo más destacado de ECML-PKDD 2017

 
John Quackenbush, que entre otros lugares trabaja en la Harvard T.H. Chan School of Public Health y es un importante colaborador del Proyecto del Genoma Humano, presentó su trabajo en el papel que la expresión genética tiene en las enfermedades.

Si realmente te apetece emocionarte con la charla de este gran orador y excepcional físico, aquí puedes seguir la hora de charla que, más o menos en su totalidad, supuso su contribución como charla plenaria a la conferencia. En ella podrás viajar desde el pequeño mundo de una proteína al intrincado universo de los sistemas y redes complejas y de su aplicación al conocimiento de qué grupos de genes y de qué manera están relacionados con funciones biológicas y enfermedades.

Cordelia Schmid, una experta en visión artificial que trabaja en el INRIA, Francia, presentó “Automatic Understanding of the Visual World”, una charla plenaria donde mostró las mejoras a las que su grupo ha llegado en la vídeo-segmentación de objetos usando un módulo de memoria auxiliar para estudiar la evolución de los objetos a lo largo del tiempo a partir de redes neuronales. Cordelia impresionó visualmente a la audiencia cuando enseñó el conjunto de datos SURREAL (synthetic hUmans forR REAL tasks ) que ha construido para mejorar la segmentación de imágenes de vídeo.

En el tiempo de preguntas, expuso que en su opinión, el mayor reto al que se enfrentan las redes neuronales es el del olvido catastrófico, esto es, la tendencia de las redes neurales a olvidar todo lo aprendido cuando se disponen a aprender nueva información.

También Frank Hutter presentó una extraordinaria charla plenaria titulada “Towards end-to-end lLarning & Optimization”, donde resumió su trabajo (centrado en el aprendizaje automático o AutoML) y remarcó la importancia de entender la influencia de los hiper-parámetros en los modelos. Primero introdujo su trabajo AutoWeka, para luego seguir con auto-sklearn y extensiones que usan optimización bayesiana para encontrar los hiper-parámetros. Podéis empezar a probarlo en cuanto queráis, porque, como enfatizó, “todo está en github”. Para finalizar presentó auto-Nets: “towards automatically-tuned neural networks” (aquí están los detalles de sus transparencias) y cómo acelerar la optimización de hiper-parámetros para diferentes arquitecturas de redes neuronales y diferentes optimizadores. Y por supuesto, todo eso, como dijo, ¡también está en github! De hecho, hubo un tutorial y un workshop de un día completo dedicado a AutoML que reunió una audiencia considerable; más específicamente dedicada a meta-aprendizaje, selección del algoritmo más adecuado, y configuración del mismo. Si estáis interesados aquí podéis echar un vistazo a las transparencias tutorial y a los procedimientos del workshop.

Alex Graves , de DeepMind, presentó una charla plenaria técnica centrada en redes neuronales recurrentes. En particular, en el reto que resulta al intentar escalar las RNN en espacio y tiempo, esto es, a medida que la memoria crece. Presentó su artículo sobre SAM’s (sparse access memory) para solventar estos problemas, y un algoritmo de tiempo de cálculo adaptativo y su aplicación al conjunto de datos de la Wikipedia. Mostró cómo el algoritmo podía distinguir estructura de ruido cuando otras métricas no pueden. Finalizó hablando de gradientes sintéticos y otros algoritmos como curriculum learning que utilizan para acelerar el aprendizaje.

El premio al mejor artículo de estudiantes se otorgó a “Arbitrated Ensemble for Time Series Forecasting”, un método de ensamblaje adaptativo para tratar las diferentes dinámicas de los datos de las series temporales, descomponiendo la predicción en una predicción de base y varios meta-predictores. Si estáis interesados, tengo una buena noticia: hay un paquete R llamado tsensembler listo para usar.

Hubo una presentación que despertó gran interés en el público por la novedad y sencillez de la idea. La idea de FCNN, Fourier Convolutional Neural Networks, consiste en entrenar por completo una CNN en el espacio de Fourier, lo que da lugar a mejoras en velocidad sin pérdida alguna de efectividad. Se implementó usando una NVidia K40c GPU de 12GB RAM + Keras.

Pero sin lugar a dudas, una de mis presentaciones favoritas de toda la semana fue la presentada en la sesión Learning and Optimization por Alon Zweig y titulada “Group Online Adaptive Learning (GOAL)”. Aquí, el autor introdujo un método donde existen múltiples agentes de aprendizaje, cada uno de ellos en su propio entorno, que comparten información entre ellos para acelerar el aprendizaje global. Este método es válido para muchas aplicaciones: reconocimiento de objetos, finanzas y sistemas de recomendación, entre otros. Los autores señalaron que el uso compartido de todos los datos de todos los agentes de aprendizajes no escala; por lo tanto, su modelo se limita a compartir los datos de los expertos, mientras que los expertos se añaden o retiran según lo que han aportado, y otros agentes pueden utilizar expertos que han sido ya previamente congelados. El algoritmo se llama SOAL, y su funcionamiento fue mostrado en una tarea de navegación visual donde un robot aprende a navegar basado en 6 escenas de video al aire libre. SOAL demostró con creces mejorar notablemente el aprendizaje cuando el conocimiento de otros robots en escenas relacionadas estaba disponible y era compartido.

En el campo de las redes, pudimos ver una interesante charla sobre “Activity-Driven Influence Maximization in Social Networks” de Rohit Kumar aplicada a encontrar ubicaciones influentes. Para ello, en lugar de estudiar a los usuarios con el mayor conjunto de relaciones o el conjunto de lugares visitados por la mayoría de los usuarios, identificaban los patrones de propagación de la influencia, y lo hacían de manera escalable.

Otros tutoriales y Workshops interesantes

 

Interactive Adaptive Learning: Aquí podéis encontrar un interesante documento introductorio a la Inteligencia Artificial (“Challenges of Reliable, Realistic and Comparable Active Learning Evaluation”) y el resto de las ponencias presentadas en el workshop, donde pudimos encontrar métodos para optimizar todo el proceso de aprendizaje, desde la interacción con supervisores humanos hasta técnicas de aprendizaje adaptativo o de transfer learning.

Redes: Hubo un workshop dedicado a las redes temporales y su desarrollo a gran escala y un tutorial en el que se hizo hincapié en el análisis y la descomposición del k-core de las redes para estudiar sus propiedades.

Scaling-Up Reinforcement Learning: Este workshop reunió a investigadores que están trabajando en diferentes métodos para mejorar el aprendizaje por refuerzo.

MIDAS “MIning DAta for financial applicationS”: Los procedimientos del workshop muestran algunos de los retos y aplicaciones de la combinación de datos financieros y machine learning.

Learning with Imbalanced Domains: Theory and Applications: El workshop se enfocó en el problema de los datos desbalanceados, problema muy común en la ciencia de datos.

 
 
Esto es todo. Espero que disfrutéis de las charlas y del material de aprendizaje tanto como lo hice yo. ¡Nos vemos en Dublin en 2018!