Оптимизация добычи методом обучения с подкреплением в системе скважин с различной продуктивностью и стохастическим спросом

Аннотация: В работе исследуется применение обучения с подкреплением (RL) для оптимизации режимов работы нефтегазовых скважин в условиях стохастического спроса. Разработана симуляционная среда, учитывающая переменный спрос, динамику давления и продуктивность скважин. Сравнивались алгоритмы DDPG и PPO, где PPO показал лучшую стабильность и эффективность благодаря клиппингу и ограничениям на обновление политики. Гиперпараметры подбирались методом байесовой оптимизации (TPE). Обученный агент демонстрирует в 2 раза больше награду и меньшую дисперсию по сравнению со случайными действиями. Отмечены ключевые ограничения: сложность интеграции с ресурсоемкими симуляторами, чувствительность к функции награды и риски ошибок в реальных условиях. Результаты подтверждают потенциал RL для управления нестационарными системами, но требуют дальнейшей доработки для промышленного внедрения