MORP-DRL: глубокое обучение с подкреплением для двухцелевой оптимизации портфеля на основе надёжности

Оптимизация портфеля в условиях неопределённости, по сути многоцелевая задача: доходность, риск, динамика рынка и практические инвестиционные ограничения сложно взаимодействуют друг с другом. Существующие подходы к оптимизации портфеля на основе теории надёжности обычно опираются на статические оптимизационные схемы и плохо учитывают последовательный характер принятия решений, хвостовые риски (риски редких, но крупных потерь) и рыночные трения, например, транзакционные издержки.

Чтобы устранить эти ограничения, авторы предложили MORP-DRL, фреймворк на основе глубокого обучения с подкреплением для многоцелевой (двухцелевой) оптимизации портфеля с учётом надёжности. Система одновременно оптимизирует ожидаемую доходность и риск потерь (просадку), используя сразу три взаимодополняющие меры риска: дисперсию, CVaR (Conditional Value-at-Risk, условную стоимость под риском) и EVaR (Entropic Value-at-Risk, энтропийную стоимость под риском).

Для моделирования неопределённости и «тяжёлых хвостов» рыночного поведения доходности активов описываются моделью GARCH(1,1), теорией экстремальных значений (Extreme Value Theory) и t-копулой (моделью зависимости между активами), а реалистичные рыночные сценарии генерируются методом квази-Монте-Карло.

Торговая стратегия строится на алгоритме Proximal Policy Optimization (PPO) и учитывает практические ограничения, транзакционные издержки и границы весов активов в портфеле. В качестве сравнения используется генетический алгоритм NSGA-II.

Эксперименты проводились на десяти мировых фондовых индексах в трёх рыночных режимах: до пандемии COVID-19, во время неё и после. MORP-DRL показал конкурентоспособное соотношение риска и доходности, сниженный риск потерь в периоды рыночного стресса, а также масштабируемость на портфели с большим числом активов.

Ключевые факты

Предложен MORP-DRL, фреймворк на основе глубокого обучения с подкреплением для двухцелевой оптимизации портфеля (доходность/риск) с учётом теории надёжности
Риск портфеля одновременно оценивается тремя мерами: дисперсией, CVaR и EVaR
Доходности активов моделируются через GARCH(1,1), теорию экстремальных значений и t-копулу; рыночные сценарии генерируются методом квази-Монте-Карло
Торговая стратегия на основе PPO учитывает транзакционные издержки и лимиты весов активов, сравнивается с генетическим алгоритмом NSGA-II
На десяти мировых фондовых индексах в режимах до/во время/после COVID-19 MORP-DRL показал конкурентный результат, меньший риск потерь при рыночном стрессе и масштабируемость на портфели большой размерности

Почему это важно

Классические методы надёжностной оптимизации портфеля статичны и плохо учитывают последовательный характер решений, хвостовые риски и издержки на сделки. MORP-DRL объединяет обучение с подкреплением с продвинутым статистическим моделированием рынка (GARCH, теория экстремальных значений, t-копула), что даёт более реалистичный и адаптивный инструмент построения портфеля, особенно значимый в периоды рыночной турбулентности вроде пандемии COVID-19.

Кому это важно

Работа адресована исследователям в области количественных финансов и специалистам по управлению активами и рисками, которые ищут более гибкие методы построения портфелей, устойчивых к резким рыночным потрясениям.

Как это применить

Это исследовательская методика, а не готовый продукт или сервис, код или готовый инструмент в тексте не упоминаются. Применить подход можно, воспроизведя описанный конвейер: смоделировать доходности активов через GARCH(1,1), теорию экстремальных значений и t-копулу, сгенерировать сценарии методом квази-Монте-Карло и обучить PPO-стратегию с учётом транзакционных издержек и границ весов портфеля, сравнив результат с классическим генетическим алгоритмом NSGA-II.

Можно ли доверять

Материал, препринт на arXiv, то есть пока не прошёл независимое рецензирование. При этом методика протестирована на реальных данных десяти мировых фондовых индексов и в трёх разных рыночных режимах (включая шок COVID-19), а в качестве базовой линии используется признанный алгоритм NSGA-II, это говорит в пользу серьёзности эксперимента. Но в доступном тексте нет конкретных числовых показателей доходности или снижения риска, поэтому оценить величину преимущества MORP-DRL по нему нельзя.

Риски и подводные камни

В аннотации нет точных цифр, оценки «конкурентно» и «снижен риск» носят качественный характер, и понять, насколько именно MORP-DRL превосходит альтернативы, по тексту невозможно. Также остаётся открытым вопрос обобщаемости: результаты получены на историческом периоде с уникальным шоком COVID-19, и не факт, что стратегия, обученная на нём, сохранит эффективность в будущих, ещё не виденных рыночных условиях, типичный риск для моделей на основе обучения с подкреплением.