Tárgyfelelős: Dr. Fogarassyné dr. Vathy Ágnes egyetemi docens, Dr. Dulai Tibor egyetemi adjunktus
A tárgy a következő tárgyak ismeretét tételezi fel, azokra épít:
-
Tematika
Az alábbi témakörökkel kapcsolatos ismereteket sajátítják el egyéni képzési tervüket és érdeklődésüket is figyelembe véve a hallgatók:
T1. A transformer achitektúra és annak variánsai
A Generative Pre-trained Transformer, az XLNet, és a Text-to-Text Transfer Transformer architektúrák ismertetése és azok tulajdonságai. A transformer architektúrák részletes működése (multi-head self-attention mechanizmus, pozíció-kódolás, a tanítás folyamata). Transfer learning és fine tuning az előtanított transformer új területeken való alkalmazására.
T2. Generative Adversarial Networks (GANs) és a transformer-alapú generatív modellek
A GAN-ok felépítése (a generator és a discriminator feladata) és tanítása. A transformer-alapú generatív modellek szerkezete és működése.
T3. Embedding és vektor adatbázisok. A generatív modellek alkalmazása és annak etikai vonzatai
Az embedding fogalma, a bemenet lehetséges formátumai és azok leképzése. A vektor adatbázisok specialitásai és jellemzői. A generatív modellek lehetséges alkalmazása azok etikai vonatkozásaival (pl. tartalomgenerálás, stílus-transzfer, adatjavítás). A felelős AI (responsible AI).
Az értékelés egy, a fenti témakörökhöz kapcsolódó egyéni projekt feladat kidolgozása alapján történik.
Irodalom
1. David Foster: Generative Deep Learning: Teaching Machines to Paint, Write, Compose, and Play. O’Reilly Media, 2019.
2. Ian Goodfellow, Yoshua Bengio, Aaron Courville: Deep learning. MIT Press, 2016.