Dentro de um modelo de linguagem
Tokens, vetores, atenção e treino: o que acontece realmente entre a sua pergunta e a resposta.
8 lições · 1 questionário · 45 min · distintivo de conclusão
- Explicar como um texto se torna uma sequência de tokens e depois de vetores.
- Descrever o papel da atenção num transformer, com um exemplo.
- Distinguir pré-treino, ajuste por instruções e alinhamento.
- Relacionar estes mecanismos com os erros que observa no dia a dia.
- Ler um artigo de referência da área sem se perder no vocabulário.
- Para quem
- Referentes de IA, formadores, perfis técnicos e qualquer pessoa que queira compreender o funcionamento interno dos modelos.
- Pré-requisitos
- O curso «O que a IA sabe fazer, e os seus limites», ou uma primeira prática com assistentes.
- Duração
- 45 min
- Nível
- Avançado
O conteúdo do curso.
- 01Do texto aos números3 lições
- Os tokens, unidade de base do modelo7 min
Porque é que um modelo não lê letras nem palavras, mas tokens, e o que isso muda para si.
- As palavras tornam-se vetores7 min
Como cada token se torna uma lista de números que codifica o seu sentido, e porque é que a geometria substitui o dicionário.
- O sentido como proximidade: a pesquisa semântica3 min
Os vetores servem também para encontrar um documento pelo seu sentido, sem partilhar uma única palavra com a pergunta.
- Os tokens, unidade de base do modelo7 min
- 02O transformer3 lições
- A atenção, ou ler o texto todo de uma vez3 min
O mecanismo que permite a cada palavra ter em conta todas as outras, no centro de todos os grandes modelos atuais.
- Camadas empilhadas e milhares de milhões de parâmetros6 min
O que são os parâmetros de um modelo, e porque é que o seu número contou tanto.
- Escolher a palavra seguinte: probabilidades e temperatura3 min
O modelo não produz uma palavra, produz uma probabilidade para cada palavra possível. A escolha final depende de uma configuração.
- A atenção, ou ler o texto todo de uma vez3 min
- 03Treinar um modelo2 lições
- O pré-treino e as leis de escala3 min
Como um modelo aprende ao prever a palavra seguinte em biliões de tokens, e o que as leis de escala revelaram.
- Seguir instruções: ajuste e alinhamento3 min
Porque é que um modelo em bruto completa o texto em vez de responder, e como se lhe ensina a ser útil e prudente.
- O pré-treino e as leis de escala3 min
- ✓Questionário final8 perguntas