Des de la seva irrupció el 2017, els transformers han revolucionat l’àrea d’intel·ligència artificial (IA) gràcies a la seva escalabilitat i a la disponibilitat d’enormes quantitats d’informació textual per al seu entrenament. Tot i que originalment van ser dissenyats com a traductors, la seva evolució posterior ha donat lloc a dos enfocaments potents: un centrat en la codificació de textos (encoders) i un altre que ha originat la IA generativa (decoders). En aquest curs motivarem i presentarem els principals mecanismes d’aprenentatge que formen part d’un transformer, com ara els "semantic embeddings", els "positional embeddings" i el mecanisme d’auto-atenció. Aquests conceptes s’acompanyaran de petits exemples pràctics usant pyTorch, la principal biblioteca de Python per desenvolupar mètodes d’aprenentatge profund.