Djup maskininlärning

Lärandemål

Efter avslutad kurs ska studenterna kunna

• förklara de fundamentala principerna inom övervakat lärande, inklusive grundläggande användande av valideringsdata för att undvika överträning
• beskriva de kostnadsfunktioner som typiskt optimeras inom övervakat lärande (i första hand kors-entropin) och de vanligaste optimeringsmetoderna (bakåtpropagering av gradienter, mm)
• förklara hur de traditionella framåtriktade nätverken är uppbyggda och varför de kan approximera “nästan” alla funktioner
• förstå svårigheterna med försvinnande gradienter och moderna verktyg för att motverka det problemet (som exempelvis “batch normalisation” och residuala nätverk)
• sammanfatta de huvudsakliga komponenterna i faltande nueronnät och deras huvudsakliga fördelar
• beskriva vanliga typer av återkommande neuronnät (recurrent neural networks) och vad de typiskt används till
• sammanfatta hur transformers är uppbyggda och beskriva deras viktigaste egenskaper
• ge en översikt av ett antal av de många moderna sorters djupa nätverk som utvecklats de senaste åren
• argumentera för fördelarna med “transfer learning”, självövervakat lärande och halvövervakat lärande då vi har en begränsad mängd annoterade dataexempel
• träna och applicera faltande nätverk (CNN) för bilder, samt återkommande nätverk (RNN) eller “transformers” för tillämpningar med tidsserier
• utnyttja ett lämpligt mjukvarubibliotek designat för djupa neuronnät (huvudsakligen PyTorch) för att lösa problem inom ett antal olika praktiska tillämpningar