БЕК-ЕНД АРХІТЕКТУРА СИСТЕМИ АДАПТИВНОЇ ПОВЕДІНКИ NPC У МУЛЬТИАГЕНТНОМУ СЕРЕДОВИЩІ НА ОСНОВІ Q-LEARNING

Артур Юхатов

doi:10.36074/logos-19.12.2025.024

БЕК-ЕНД АРХІТЕКТУРА СИСТЕМИ АДАПТИВНОЇ ПОВЕДІНКИ NPC У МУЛЬТИАГЕНТНОМУ СЕРЕДОВИЩІ НА ОСНОВІ Q-LEARNING

Артур Юхатов

Conference proceedings: Raccolta di articoli scientifici «ΛΌГOΣ» con gli atti della VIII Conferenza scientifica e pratica internazionale «Ricerche scientifiche e metodi della loro realizzazione: esperienza mondiale e realtà domestiche» (Bologna, Repubblica Italiana; 19 dicembre, 2025)

Section: Computer and Software engineering

Publication date: 2025/12/19

Pages: 124-137

DOI: 10.36074/logos-19.12.2025.024

ISBN: 978-617-8440-86-2

Publisher: Associazione Italiana di Storia Urbana

Language: uk

PDF for indexing Original PDF in OJS archive DOI

Abstract

У статті представлено бек-енд архітектуру системи адаптивної поведінки неігрових персонажів (NPC) у мультиагентному середовищі, побудовану на основі алгоритму Q-learning. Розглянуто модель марківського процесу прийняття рішень (MDP), механізм формування та збереження Q-таблиці, систему винагород, а також архітектурні рішення серверної частини, що забезпечують навчання агентів у прискореній симуляції. Запропонований підхід інтегровано у рушій Unreal Engine 5, що дозволяє організувати кероване та відтворюване середовище для множини NPC. Проведено аналіз експериментальних результатів, що підтверджують стабільність навчання та можливість масштабування системи до більших мультиагентних конфігурацій.

Author affiliations

Артур Юхатов: ORCID

References

Millington, I., & Funge, J. (2016). Artificial Intelligence for Games (3rd ed.). CRC Press.
Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
Buckland, M. (2005). Programming Game AI by Example. Jones & Bartlett.
Champandard, A. (2007). Behavior Trees for Next-Gen Game AI. AiGameDev.com.
Orkin, J. (2006). Three States and a Plan: The AI of F.E.A.R.
Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3), 279–292.
Epic Games. (2023). Unreal Engine 5 Documentation.

[1] Millington, I., & Funge, J. (2016). Artificial Intelligence for Games (3rd ed.). CRC Press.

[2] Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

[3] Buckland, M. (2005). Programming Game AI by Example. Jones & Bartlett.

[4] Champandard, A. (2007). Behavior Trees for Next-Gen Game AI. AiGameDev.com.

[5] Orkin, J. (2006). Three States and a Plan: The AI of F.E.A.R.

[6] Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3), 279–292.

[7] Epic Games. (2023). Unreal Engine 5 Documentation.