Tárgyfelelős: Dr. Guzsvinecz Tibor, egyetemi docens, PhD
A tárgy célja a nagy nyelvi modelleken (LLMs – Large Language Models) alapuló adaptív interakciók lehetőségeinek és kihívásainak vizsgálata különböző digitális valóságokban. A fókusz a természetes nyelvű interakciókra, a személyre szabott élményekre, a tanulási/rehabilitációs támogatásra és a dinamikusan generált tartalmak felhasználói élmény és jelenlétérzés szempontjából való hatásvizsgálatára kerül. A kurzus betekintést nyújt az LLM-ek integrációjának elméleti alapjaiba, a nyelvi modellek által közvetített szociális jelenlét koncepciójába, valamint kvalitatív és kvantitatív módszertani megközelítésekbe, amelyekkel mérhető az interakciók hatékonysága XR környezetekben. A kurzus során kiemelt szerepet kap a kísérleti tervezés, felhasználói tanulmányok lebonyolítása, valamint a prototípusok kritikai értékelése is.
Témakörök:
- Bevezetés az LLM-ek működésébe
- Természetes nyelvű interakciók XR-ben
- Jelenlét és immerzió nyelvi támogatással
- Persona-generálás LLM-mel XR környezetekhez
- Implementáció digitális valóságokban
- Kockázatok, etikák, kognitív terhelés
- Prototípus-prezentáció és kritikai elemzés
Irodalom:
Bozkir, E., Özdel, S., Lau, K. H. C., Wang, M., Gao, H., & Kasneci, E. (2024). Embedding large language models into extended reality: Opportunities and challenges for inclusion, engagement, and privacy. In Proceedings of the 6th ACM Conference on Conversational User Interfaces (pp. 1-7). https://doi.org/10.1145/3640794.366556
Gao, H., Xie, Y., & Kasneci, E. (2025). PerVRML: ChatGPT-Driven Personalized VR Environments for Machine Learning Education. International Journal of Human–Computer Interaction. https://doi.org/10.1080/10447318.2025.2504188
Hutson, J. (2024). Combining Large Language Models and Immersive Technologies to Represent Cultural Heritage in the Metaverse Context. In Augmented and Virtual Reality in the Metaverse (pp. 265-281). Cham: Springer Nature Switzerland. https://doi.org/10.1007/978-3-031-57746-8_14
Rahimi, F., Sadeghi-Niaraki, A., & Choi, S. M. (2025). Generative AI Meets Virtual Reality: A Comprehensive Survey on Applications, Challenges, and Future Direction. IEEE Access. https://doi.org/10.1109/ACCESS.2025.3574779
Sánchez-Berriel, I., Pérez-Nava, F., & Pérez-Rosario, L. (2025). Natural Interaction in Virtual Heritage: Enhancing User Experience with Large Language Models. Electronics, 14(12), 2478. https://doi.org/10.3390/electronics14122478
Tang, Y., Situ, J., Cui, A. Y., Wu, M., & Huang, Y. (2025, April). LLM Integration in Extended Reality: A Comprehensive Review of Current Trends, Challenges, and Future Perspectives. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1-24). https://doi.org/10.1145/3706598.3714224