Elegir la palabra siguiente: probabilidades y temperatura
El modelo no produce una palabra, produce una probabilidad para cada palabra posible. La elección final depende de un ajuste.
ObjetivoExplicar cómo se elige el token siguiente y qué cambia la temperatura.
Al final de todas sus capas, el modelo calcula para cada token del vocabulario una probabilidad de ser el siguiente. Después de «La capital de Suiza es», «Berna» recibe una probabilidad muy alta, «Zúrich» una probabilidad baja pero no nula.
Después hay que elegir. Tomar siempre el más probable da textos seguros pero repetitivos. Sortear según las probabilidades da textos más variados. La temperatura regula este equilibrio. Con una temperatura baja, el modelo se ciñe a las opciones más probables. Con una alta, se arriesga más.
- Para extraer cifras, clasificar o responder a una pregunta factual, una temperatura baja limita las desviaciones.
- Para proponer títulos, ideas o variantes, una temperatura más alta amplía el abanico.
- La misma pregunta puede dar dos respuestas distintas. No es una avería, es el sorteo.
Referencias
- Brown, Mann, Ryder et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems 33, p. 1877–1901. arxiv.org/abs/2005.14165