今日AI-深度强化学习-2024年9月23日

1. 清华大学电子系城市科学与计算研究中心与建筑学院跨学科合作，提出了强化学习的城市社区空间规划模型与方法，并实现了规划师与人工智能算法协作的城市规划流程，为智能城市的自动化规划提供了全新思路。
2. 该成果以“基于深度强化学习的城市社区规划方法”为题在《自然·计算科学》上在线发表。
3. 电子系城市科学与计算研究中心从2014年开始研究城市复杂环境治理、规划和决策问题。
.中心李勇副教授带领课题组博士生郑瑜等人基于课题组在城市计算建模与深度强化学习等方向的技术积累，与建筑学院武廷海教授团队合作，创新地提出了基于深度强化学习的城市社区空间规划方法。
5. 该方法首次从拓扑层面完成城市规划任务，使用图模型为任意形式的城市社区给出统一的表示，将城市规划转化为了图上马尔科夫决策过程，从而能够发挥深度强化学习算法在巨大解空间中高效搜索能力，并实现城市社区用地和道路的智能布局。
6. 在北京两个社区的规划模拟实验表明，所提方法得到的社区规划方案能够显著提高“1城市”的各项指标。
7. 通过设计人类规划师与人工智能的工作流，能够大幅提升规划师的工作效率，高效地生成风格的社区规划方案。
8. 相关成果以“基于深度强化学习的城市社区空间规划方法”为题在《自然·计算科学》上在线
9. 该成果展示了人工智能技术在城市规划领域解决复杂规划问题的潜力，所建模型能够提高社区的空间效率，为“15分钟”的实现提供高效解决方案，助力城市的可持续发展。

1. 随着卫星数量的增长，需要高效的卫星任务调度，卫星任务调度已成为研究热点。
2. 目前对地观测卫星任务调度研究大多针对“常规周期性任务”，难以满足应急观测任务的时效性要求。
3. 本文针对对地观测卫星研究了时效性优化的动态任务调度问题，建立了数学规划模型，并设计了两阶段算法PPL-HR进行求解。
4. 实验结果表明，PPODLR在不同情况下均优于现有实时调度算法。

1. 引言：介绍深度学习和强化学习的基本概念和应用领域，以及深度强化学习的整体框架。
2. 强化学习的系统组成、特点及基本模型：介绍强化学习的系统组成、特点和基本，包括智能体、环境、状态、动作、奖励、策略和价值函数等。
3. 强化学习算法：介绍强化学习的算法，包括蒙特卡罗方法、REINFORCE算法和Q-Learning算法。
4. 深度强化学习算法：介绍深度强化学习的算法，包括DQN算法、Actor-Critic算法和DDPG算法。
5. 深度强化学习在水下目标识别中的应用：介绍深度强化学习在水下目标识别中的应用，包括任务特征分析、现有方法的优缺点和深度强化学习方法在水下目标识别的优势和挑战。
6. 结语：总结深度强化学习在水下目标识别中的应用研究成果，并指出其存在的问题和发展方向。