Este es un curso sobre transformers, su arquitectura y su evolución. Los transformers son un tipo de red neural que han mostrado un enorme progreso en tareas de procesamiento de lenguaje natural, como la traducción. El curso presentará primero los conceptos principales detrás de la arquitectura de los transformers: "attention". Luego describirá la arquitectura original de los transformers, que incluye seis capas de encoders y seis capas de decoders, que es el embedding, que es self-attention en detalle y que es el positional encoding.

El curso también discutirá la evolución de la arquitectura de los transformers en orden cronológico, comenzando con el modelo Bidirectional Encoder Representations from Transformers (BERT). Este modelo se basa en encoders solamente y se entrena en dos pasos: entrenamiento previo de BERT con tokens enmascarados y predicción de la siguiente oración, y ajuste fino de BERT para una tarea de NLP. BERT se puede aplicar a una variedad de tareas de NLP, como clasificación de sentencias, pregunta y respuesta, etc. Aprenderemos cómo utilizarlo en aplicaciones de salud.

Presentaremos cómo es posible evaluar los transformadores con la Evaluación general de comprensión del lenguaje (GLUE) y comparar los resultados con los resultados promedio de los humanos.

El curso introducirá Colab, una herramienta web de Google que permite trabajar con redes neuronales, incluidos los transformers, TensorFlow, una librería de Google que crea, entrena y usa redes neuronales, y Hugging Face, una librería que simplifica el uso de TensorFlow con transformers.

También se presentará BioBERT, un transformer que utiliza el modelo BERT como base y completa su entrenamiento con un dataset de términos médicos. Este modelo se aplica a una variedad de tareas, como la reconocimiento de entidades médicas (NER) y la clasificación de texto.

El curso seguirá con la siguiente gran revolución de los transformadores, las arquitecturas GPT-2 y GPT-3. Estos son modelos que utilizan un mayor número de capas, cabezas de atención y parámetros con el fin de obtener mejores resultados. Además se revisará cómo aplicar estas nuevas redes en tareas de salud.

Por último, se explorará cómo es posible utilizar la misma arquitectura de los transformers, y el mismo concepto de atención, en otros campos, como computer vision, utilizando el Vision Transformer y sus variantes. También se presentará AlphaFold2, una red neural que está basada en transformers y que se utiliza para predecir la forma tridimensional de las proteínas.

• Lección 1: Aprende cómo funciona la atención, cómo funciona la arquitectura de Transformer y cómo Transformer usa la atención en paralelo. ¿Qué es embedding? ¿Qué es self-attention? ¿Qué es self-attention en detalle? La codificación posicional (positional encoding). El decoder. Introducción a BERT. Introducción a las tareas GLUE. Introducción a BIOBERT. Introducción a Hugging Face, una forma sencilla de utilizar Transformers con Tensorflow.

Codelab: Introducción a Colab, Tensorflow y Hugging Face. Cómo realizar algunas de las tareas de NLP con un Transformer utilizando Hugging Face. Comparar los resultados de una tarea NER con un texto médico utilizando BERT y BIOBERT.

• Lección 2: Revisión de la arquitectura del Transformador. Introducción a la arquitectura BERT, ¿cómo es la entrada de BERT, cómo es su salida? Cómo funciona BERT? Entrenamiento de BERT en 2 etapas: entrenamiento previo de BERT con tokens enmascarados y predicción de la siguiente oración, y ajuste de BERT para una tarea de NLP. Aprende como aplicar BERT a una aplicación de salud.

• Codelab: ajuste fino de un modelo BIOBERT para NER.

• Lección 3: GPT-2, GPT-3, tarea de generación de texto. Aprender las arquitecturas de GPT-2 y GPT-3. Utilizar modelos de AI mediante una API en la nube versus ejecutar un modelo de AI mediante Tensorflow. Cómo entrenar el modelo GPT-2.

Codelab: Utilización de GPT-2 y GPT-3 en textos médicos, casos de uso. Comparar resultados usando el GPT-2 y el GPT-3.

• Lección 4: Transformers más allá de tareas NLP. Vision Transformer (ViT): Cómo detectar la neumonía en radiografías de tórax. Perceiver y Perceiver IO. AlphaFold2: predicción de la forma de las proteínas en 3D.

Codelab: Vision Transformer para el diagnóstico de neumonía mediante el análisis de radiografías de tórax.

• Objetivo principal:

Presentar una introducción desde cero hasta el héroe (hasta temas avanzados) sobre Transformers y su evolución.

Mostrar cómo los Transformers pueden ser aplicados a tareas relacionadas al cuidado de la salud.

• Objetivos específicos:

Utilizar Colab para crear proyectos de aprendizaje automático con Transformers.

Utilizar Google Drive y Colab juntos.

Aprender a seleccionar una arquitectura de Transformers para una tarea específica.

Estudiar como entrenar un Transformer para ser aplicado en una tarea de salud.