Natural Language Processing (NLP) gör det möjligt för datorer att arbeta med mänskligt språk. I den här kursen kommer du att utforska de centrala modeller och algoritmer som ligger till grund för modern NLP, med en stark betoning på praktisk erfarenhet. Kursen fokuserar särskilt på stora språkmodeller (LLM:er) och utvecklingen av chatbotar.
Efter genomgången kurs ska den studerande kunna:
förklara centrala språkteknologiska koncept, modeller och algoritmer
implementera språkteknologiska algoritmer och tillämpa dem på realistiska problem
utvärdera språkteknologiska komponenter och system med lämpliga metoder
identifiera, värdera och nyttiggöra vetenskaplig litteratur inom språkteknologiområdet
Kursinnehåll
språkteknologiska koncept, modeller och algoritmer
relevanta maskininlärningsmetoder
valideringsmetoder
tillämpningar av språkteknologi
språkteknologiska verktyg, programbibliotek och data
språkteknologi som forsknings- och utvecklingsområde
samhälleliga, miljömässiga och etiska aspekter av språkteknologi
tokenisering (BPE), inbäddningar, ordvektorer
språkmodeller baserade på Transformer-arkitekturen (GPT, BERT)
utveckling av språkmodeller och chattbotar: data, förträning, finjustering
aktuell forskning och utveckling
I kursens laborationsserie implementerar, tränar och utvärderar studenterna en komplett chattbot baserad på GPT-arkitekturen.
Förutsättningar
diskret matematik, analys, linjär algebra, sannolikhetslära
goda kunskaper inom programmering, datastrukturer och algoritmer