今日AI-深度强化学习-2024年12月5日

1. 深度强化学习是深度学习与强化的结合，以AlphaGo为例，它在领域的成功，展示了强化学习威力>2.强化学习核心组成部分有状态表示、策略机制，典型应用有领域、领域、金融领域、语言领域
.学习的有复杂度大幅增加模型的可解释较差、模型的化能力也有待，未来展望有提高算法的和、增强模型的解释应用
4.强化问题深度强化与机器学习、深度强化需要大量的数据、强化学习时间比较长、提高强化学习的、深度强化在实际应用中有哪些限制学习模型进行评估、深度强化学习深度学习的关系、强化可以于智能体系统吗深度发展是什么、如何深度

1. 流动控制是流体力学的重要研究方向，在汽车能效提升和气动优化等领域潜力巨大。
2. 现有研究探索了圆柱旋转、合成射流和等离子体激励器等方法，有效控制了钝体气动力，为复杂风场中的精细控制提供了可能性。
3. 深度强化学习（DRL）因其在处理高维、多模态和复杂时空变化问题上的优势，成为主动流动控制研究的新方向。
4. 本研究开发了一个开源的DRL风洞试验交互平台“DRLinWT”，该平台通过通用适配器统一常见的通信协议，整合了Stable Baselines3和Tianshou等DRL库。
5. 本研究开展了基于DRLinWT的方柱绕流控制案例研究，试验在哈尔滨工业大学（深圳）AIWE的风洞中进行，试验目的是在优化模型气动性能，并且同时考虑了能源消耗。
6. 流量控制器和压力扫描阀分别作为控制器和传感器，控制器通过调整吹气流量实现DR算法的动作指令，传感器则测量模型表面的风压数据，用于计算阻力系数（Cd）和升力系数（Cl）。
7. 本研究设计了三种复杂性递增的来流条件，通过逐步复杂的测试条件，全面评估了DRLinWT在试验流场中的控制能力和鲁棒性，验证了其在真实环境中应用的有效性。
8. 案例2的模型是三者中最具鲁棒性的，除了在案例1风场中的奖励值和平均阻力系数略逊于案例1的模型外，案例2的模型在几乎所有场景中表现最佳，尤其在其他两个风场中，其性能显著优于其他两种模型。
9. 案例2的模型能够有效降低二维方柱在三种风场下的阻力和升力系数，其中平均阻力系数降低约16%，升力系数标准差降低约88%。br>10. 控制后涡脱落的主峰消失，表明控制策略有效抑制了涡脱能量，减少了作用于方柱的气动力波动。
11. 案例2的模型表现最佳，有更强的适应性和稳定性，能够平衡流量选择，适应突变的风速，表现出更高的稳定性和可靠性。

1. 针对变体飞行器内部气动系数时变导致的控制律设计困难、参数调试复杂的问题，提出了一种基于深度强化学习的智能控制策略。
2. 将变体飞行器纵向运动模型分解为姿态子系统与速度子系统。对于姿态子系统，在系统非仿射的情况下，采用反步法设计了鲁棒控制律，并基于深度确定性策略梯度算法进行智能参数整定和控制补偿。对于速度子系统，利用深度确定性策略梯度算法智能整定PI控制器参数，实现对速度指令的跟踪。
3. 通过训练，智能算法可以根据当前状态快速且智能地调整控制律参数，并通过仿真验证了智能算法的学习效果与控制律的有效性和鲁棒性。

1. 深度学习可解释人工智能领域受到重点关注，可以解决道德问题还可以提高模型的可信度和实用性。
. 文章介绍了0深度学习可解释最新paper，包括DFU_XAI、AGCN、Xplainer模型，模型在医疗、金融等有广泛应用。

1 强化学习之父Richard Sutton在会上了的团队最新在Nature的： of Plasticity in Continual Learning<>.指出，想真正完整，借助强化学习持续与交互，而之所以过去的强化学习表现不尽如人意主要用来表征决策的神经网络本质上适合交互的学习br>. 现有方法往往是阶段更新权重另一个在使用评估权重不变这种的方法持续学习中逐渐失去可塑性（plasticity
我们一种的，的——持续。目前，持续成为AI领域新。持续模型不断新和信息处理多变时，保持的性能和稳定性。
5 同时，持续还能够知识迁移和融合，模型泛化能力和价值。

1. 针对变体飞行器内部气动系数时变导致的控制律困难、参数调试复杂的问题，提出了一种基于深度强化学习的智能控制策略。将变体飞行器纵向运动模型分解为姿态子系统与速度子系统。对于姿态子系统，在系统非仿射的情况下，采用反步法设计了鲁棒控制律，并基于深度确定性策略梯度算法进行智能参数整定和控制补偿。对于速度子系统，利用深度确定性策略梯度算法智能整定PI控制器参数，实现对速度指令的跟踪。通过训练，智能算法可以根据当前状态快速且智能地调整控制律参数，并通过仿真验证了智能算法的学习效果与控制律的有效性和鲁棒性。
2. 变体飞行器是一类可以依据飞行环境与需求实时调整外形结构的飞行器，它可以通过更改飞行器外形来改变其气动力和气动特性进而包线范围，适应更为复杂的飞行环境。然而，变体飞行器是一个强非线性、内部参数快时变、多变量耦合的复杂系统，其变形过程中升力系数、阻力系数、俯仰力矩系数会发生较为剧烈的变化，原有的控制律可能无法维持变形过程中飞行状态的稳定；此外，复杂的系统结构也为控制律参数的调试带来了一定的困难。
3. 许多先进的控制方法，如滑模控制 ［1］、线性参数时变控制 ［3］、反步法 ［4］等，已经普遍应用于变体飞行器的稳定控制，并取得了一定的效果。但是上述文献中对变体的模型都有一定的简化，如将变体飞行器非线性模型在平衡点转换为线性模型，或者将气动系数与攻角、舵偏角等因素的关系描述为仿关系，这些都为控制精度带来了一定的损失。近年来，国内外发展了以模糊控制、神经网络、强化学习等为基础的智能控制方法，这为变体飞行器控制系统的设计提供了可能。智能控制对于变体飞行器主要有两种应用方式：（1）利用模糊控制等算法的强逼近特性，、补偿系统中的不确定项、未知函数、干扰等，使控制更为精确；（2）利用强化学习、深度学习等算法的自主学习特性，学习最优的变形策略或控制策略，使飞行器具有较强的自主性。
4. 本文从参数整定的角度出发，提出了一种基于DDPG算法的智能控制策略，该策略可以根据当前状态快速且智能地改变控制律参数，实现飞行器的稳定控制，同时简化参数调试的过程。本文将变体飞行器纵向运动模型分解为速度子系统与姿态子系统，在姿态子系统非仿射的情况下，采用反步法设计了舵偏角控制，并基于DDPG算法对该舵偏角控制律进行智能参数整定和控制补偿。在速度子系统中，同样利用DDPG算法智能整定PI控制器参数，实现速度指令的跟踪。最后，进行了智能算法的训练，并将训练后的神经网络移植到控制器中进行仿真验证，验证了控制策略的有效性，以及参数整定的快速性。

1. 基本概念：介绍了智能体与环境交互、马尔科夫链、Q值和V值、蒙特卡洛（MC）采样、贝尔曼公式、蒙特卡洛估计状态V值的概念。
2. TD算法：包括时序差分TD估计状态V值、SARSA、Q-Learning、DQN（深度Q网络）、DQN改进算法。
3. 策略梯度（Policy Gradient）方法：介绍了策略梯度方法直接优化策略，通过调整智能体在每个状态下选择动作的概率分布来提升整体表现。
4. Actor-critic：包括优势函数（advantage Function）、网络、Advantaged Actor-Cri、Asynchronous Advantaged Actor-Critic（3C）、Deep deterministic policy gradient （G）。6. 大语言模型中的强化学习：包括大语言模型训练、监督微调、奖励模型训练、强化学习微调、基于人类反馈的强化学习。

1 文章介绍了基于深度强化学习能源网管理优化策略程序代码，程序的点、工作深度强化学习简介、深度Q网络程序结果部分程序。
程序提出一种基于学习微能源能量与，深度Q网络环境信息进行，习得的策略集对能源进行能量管理。<>. 程序以微能源网为对象，了能源总线模型的微网系统，利用深度强化对微网能量管理优化策略研究
4. 文章对深度强化的一些关键和方法进行介绍神经网络、值、梯度、-Critic、深度确定性策略梯度、ximal Optimization和强化学习环境。br5. 文章展示了程序的，包括奖励总和曲线、动作列表和状态列表。

1 介绍了Agent的市场梯度算法建模程序代码的适用平台及主要参考
2 提出了基于确定性策略梯度算法市场模型，该模型使用深度来提高性能并避免/动作的离散。<> 3.了分析市场力量的，方法可以通过定量调整代理的等待时间准确地模拟不同的竞价水平，表征市场竞争程度和潜在市场力量。br> 4. 采用深度确定性策略梯度算法发电商的策略进行，仿真实验表明方法的RL算法准确，即使在不完全信息环境也收敛到完全信息纳什。br> 5定量调整电商的时间，可以地不同的默契合谋，分析市场策略的手段。

1. 哈尔滨工业大学的钢在风角方柱基于深度强化学习耦合计算流体模拟来实现流控制。
2. 主动流控制具有巨大的潜力和显著的优势能够优化流体系统性能、增强灵活性、最小化能耗改进航空航天、汽车相关领域的噪声控制
. 本研究DRL固有的棒性调查其在设计受方形圆柱体上各种风角影响的流动的主动控制策略的有效性。
.广泛的DRL训练过程后，通过四个射流控制CDCL在大约900后收敛，意味着成功建立了稳定的控制策略。
5. 当将0°、1°、0°和45风攻角基线流量（无L控制）比较时，L控制CD和CL均大幅减少。<>6. 本研究是应用基于DRL的算法来增强FC鲁棒性，在涉及方圆柱体风向的场景中。