Dentro de un modelo de lenguaje
Tokens, vectores, atención y entrenamiento: lo que ocurre realmente entre su pregunta y la respuesta.
8 lecciones · 1 cuestionario · 45 min · insignia de fin de curso
- Explicar cómo un texto se convierte en una secuencia de tokens y después de vectores.
- Describir el papel de la atención en un transformer, con un ejemplo.
- Distinguir el preentrenamiento, el ajuste por instrucciones y el alineamiento.
- Relacionar estos mecanismos con los errores que observa en el día a día.
- Leer un artículo de referencia del campo sin perderse en el vocabulario.
- Para quién
- Referentes de IA, formadores, perfiles técnicos y cualquier persona que quiera entender el funcionamiento interno de los modelos.
- Requisitos previos
- El curso «Lo que la IA sabe hacer, y sus límites», o una primera práctica con asistentes.
- Duración
- 45 min
- Nivel
- Avanzado
El contenido del curso.
- 01Del texto a los números3 lecciones
- Los tokens, unidad básica del modelo7 min
Por qué un modelo no lee letras ni palabras, sino tokens, y lo que eso cambia para usted.
- Las palabras se convierten en vectores7 min
Cómo cada token se convierte en una lista de números que codifica su significado, y por qué la geometría sustituye al diccionario.
- El significado como proximidad: la búsqueda semántica3 min
Los vectores también sirven para encontrar un documento por su significado, sin compartir una sola palabra con la pregunta.
- Los tokens, unidad básica del modelo7 min
- 02El transformer3 lecciones
- La atención, o leer todo el texto a la vez3 min
El mecanismo que permite a cada palabra tener en cuenta todas las demás, en el centro de todos los grandes modelos actuales.
- Capas apiladas y miles de millones de parámetros6 min
Qué son los parámetros de un modelo y por qué su número ha importado tanto.
- Elegir la palabra siguiente: probabilidades y temperatura3 min
El modelo no produce una palabra, produce una probabilidad para cada palabra posible. La elección final depende de un ajuste.
- La atención, o leer todo el texto a la vez3 min
- 03Entrenar un modelo2 lecciones
- El preentrenamiento y las leyes de escala3 min
Cómo un modelo aprende prediciendo la palabra siguiente sobre billones de tokens, y lo que revelaron las leyes de escala.
- Seguir instrucciones: ajuste y alineamiento3 min
Por qué un modelo base completa texto en lugar de responder, y cómo se le enseña a ser útil y prudente.
- El preentrenamiento y las leyes de escala3 min
- ✓Cuestionario final8 preguntas