曝字节开启豆包内测，正式杀入AI视频生成领域；川普回归，或将利好AI发展；淘宝升级AI产品「生意管家」，助力双十一丨AI情报局
文章概要：
1. 特朗普战胜对手哈里斯，成为美国第47任，此前他曾多次表示，计划在任职第一天废除拜登政府的《人工智能行政命令》，推行宽松的AI监管政策，减少对企业的报告要求避免披露商业机密。
2. 字节跳动旗下大模型AI助手豆包正式推出视频生成内测，支持图片文字一键成片、动态运镜和多镜头一致性、风格比例随意挑选。
3. 阿里巴巴正在测试AI视频创作工具Animode，该工具可以帮助用户制作动画风格的视频。
4. 淘宝升级AI产品“生意管家”，双11期间已累计服务400万商家，帮助中小商家生成超过1亿件商品及营销素材，帮助超80万商家进行了超200万次的数据流量分析。br>5. 微软提交了一项专利申请，旨在通过一种技术方法减少或消除人工智能生成的虚假信息。
阅读原文
2. 字节跳动旗下大模型AI助手豆包正式推出视频生成内测，支持图片文字一键成片、动态运镜和多镜头一致性、风格比例随意挑选。
3. 阿里巴巴正在测试AI视频创作工具Animode，该工具可以帮助用户制作动画风格的视频。
4. 淘宝升级AI产品“生意管家”，双11期间已累计服务400万商家，帮助中小商家生成超过1亿件商品及营销素材，帮助超80万商家进行了超200万次的数据流量分析。br>5. 微软提交了一项专利申请，旨在通过一种技术方法减少或消除人工智能生成的虚假信息。
字节豆包大模型团队突破残差连接局限！预训练收敛最快加速80%
文章概要：
1. 字节豆包大模型团队于近日提出超连接（Hyper-Connections）一种简单有效的残差替代方案。
2. 超连接可通过动态调整不同层之间的连接权重，解决梯度消失和表示崩溃（Representation Collapse）之间的权衡。
3. 在 Dense 模型和 MoE 模型预训练中，超连接方案展示出显著的性能提升效果，使收敛速度可加速 80%。
4. 研究团队发现，超连接在两个小型的视觉任务中表现同样优异，这表明，该方法在多个领域有。
阅读原文
2. 超连接可通过动态调整不同层之间的连接权重，解决梯度消失和表示崩溃（Representation Collapse）之间的权衡。
3. 在 Dense 模型和 MoE 模型预训练中，超连接方案展示出显著的性能提升效果，使收敛速度可加速 80%。
4. 研究团队发现，超连接在两个小型的视觉任务中表现同样优异，这表明，该方法在多个领域有。
大模型新鲜事 | Anthropic将为美军方提供AI大模型；腾讯混元开源大语言模型和3D模型；豆包开启视频生成内测
文章概要：
1. 大模型在当下已的资，造成了大发布上线的局面。
2 Anthropic将为美军方AI大。
3. OpenAI买下域名chat.com。
4. 腾讯混元开源大语言模型和3D。<> 5 字节推出单图视频驱动 X-Portrait 2。br>. AI豆包视频生成内测。
豆包与港大并开源全新RLHF框架。br> 8. 字节跳动AI模型分享社区“炉米umi。br> 9 大模型小爱音乐能力升级
10. 夸克发布灵知学习大模型。
阅读原文
2 Anthropic将为美军方AI大。
3. OpenAI买下域名chat.com。
4. 腾讯混元开源大语言模型和3D。<> 5 字节推出单图视频驱动 X-Portrait 2。br>. AI豆包视频生成内测。
豆包与港大并开源全新RLHF框架。br> 8. 字节跳动AI模型分享社区“炉米umi。br> 9 大模型小爱音乐能力升级
10. 夸克发布灵知学习大模型。
视频生成模型能否“理解”物理规律？豆包大模型团队公布系统性实验结论
文章概要：
1. 字节跳动豆包大模型团队发布成果，系统性分析了主流 DiT 架构视频生成模型能否从数据集中抽象并理解物理规律，并为此进行了系统性实验。
2. 研究深入探讨了视频生成模型在学习物理定律时的泛化能力，尤其是在三种不同的泛化情境下：分布内泛化 (ID)、分布外泛化 (OOD) 和组合泛化。
3. 实验结果表明，模型规模和数据量的增加对分布内泛化至关重要，但简单的数据量和模型规模的增加无法有效提升模型在 OOD 场景中的推理能力。
4. 模型容量和组合空间的覆盖范围对组合泛化至关重要，视频生成的 Scaling Law 应当侧重于增加组合多样性，而不仅仅是量。
5. 模型似乎更多依赖记忆和案例模仿，而非抽象出普遍的物理规则，实现分布外泛化（OOD）。
6. 视频生成模型更习惯于通过“颜色”寻找相似参考生成物体运动状态，其次是大小，再次是速度，最后才是形状。
7. 模型对案例匹配的依赖限制了其效果，在不了解底层规则的情况下，模型检索并组合片段，可能会生成不符合现实的结果。
8. 单纯依赖视频表示不足以进行精确的物理。
9. 本研究的两位一作都非常年轻，一位是 95 后，一位是 00 后，在豆包大模型团队专注视觉领域的基础研究工作。
阅读原文
2. 研究深入探讨了视频生成模型在学习物理定律时的泛化能力，尤其是在三种不同的泛化情境下：分布内泛化 (ID)、分布外泛化 (OOD) 和组合泛化。
3. 实验结果表明，模型规模和数据量的增加对分布内泛化至关重要，但简单的数据量和模型规模的增加无法有效提升模型在 OOD 场景中的推理能力。
4. 模型容量和组合空间的覆盖范围对组合泛化至关重要，视频生成的 Scaling Law 应当侧重于增加组合多样性，而不仅仅是量。
5. 模型似乎更多依赖记忆和案例模仿，而非抽象出普遍的物理规则，实现分布外泛化（OOD）。
6. 视频生成模型更习惯于通过“颜色”寻找相似参考生成物体运动状态，其次是大小，再次是速度，最后才是形状。
7. 模型对案例匹配的依赖限制了其效果，在不了解底层规则的情况下，模型检索并组合片段，可能会生成不符合现实的结果。
8. 单纯依赖视频表示不足以进行精确的物理。
9. 本研究的两位一作都非常年轻，一位是 95 后，一位是 00 后，在豆包大模型团队专注视觉领域的基础研究工作。
LeCun赞转！类Sora模型能否理解物理规律？字节豆包大模型团队系统性研究揭秘
文章概要：
1. 豆包大模型团队的研究表明，视频生成模型目前无法理解物理规律，只能记忆案例，无法做到“举一反三”。
2. 该团队通过大规模实验发现，即便依照Scaling Law扩大模型参数与训练数据量，模型依然无法抽象出一般物理规则，甚至连牛顿第一定律、抛物线无法领会。
3. 豆包大模型团队通过专门开发的物理引擎合成了匀速直接运动、小球碰撞、抛物线运动等经典物理场景的运动视频，用于训练基于主流DiT架构的视频生成模型。
4. 团队选择了匀速直线运动、完美弹性碰撞、抛物线运动三种物理场景进行评估，每种运动由其初始帧决定。
5. 豆包大模型团队的实验发现，即使遵循“Scaling Law”增大模型参数规模和数据量，模型依然无法抽象出一般物理规则，做到真正“理解”。
6. 团队对模型更多依赖记忆和案例模仿、模型更多靠颜色寻找模仿对象、复杂组合泛化情况、视频表征的局限性进行了机理探究。
阅读原文
2. 该团队通过大规模实验发现，即便依照Scaling Law扩大模型参数与训练数据量，模型依然无法抽象出一般物理规则，甚至连牛顿第一定律、抛物线无法领会。
3. 豆包大模型团队通过专门开发的物理引擎合成了匀速直接运动、小球碰撞、抛物线运动等经典物理场景的运动视频，用于训练基于主流DiT架构的视频生成模型。
4. 团队选择了匀速直线运动、完美弹性碰撞、抛物线运动三种物理场景进行评估，每种运动由其初始帧决定。
5. 豆包大模型团队的实验发现，即使遵循“Scaling Law”增大模型参数规模和数据量，模型依然无法抽象出一般物理规则，做到真正“理解”。
6. 团队对模型更多依赖记忆和案例模仿、模型更多靠颜色寻找模仿对象、复杂组合泛化情况、视频表征的局限性进行了机理探究。
张一鸣成了新首富，字节还在找AI的突破口
文章概要：
1. 2024胡润百富榜发布，字节跳动创始人张一鸣登顶，财富总额达3500亿元。
2. 后张一鸣时代，字节跳动虽平稳运转，但也初步显露出疲态。br> 3. 字节跳动已经上线二十余款AI产品，涵盖视频生成、虚拟陪伴、图片生成等几乎所有热门细分赛道。
4. 字节跳动在AI狂奔的道路上，一直不愿放弃将大与硬件做结合。
5. 字节跳动选择用玩偶式AI攻入硬件腹地，与Jellycat的全球爆火不无关系。
6 字节跳动成立了AI矩阵Flow，重启了产品工厂模式，猛攻AI。
7. 字节跳动的AI产品大多也开发了海外版本，阶段性而言，字节AI出海更深入人心。
8. 字节AI在国内来去，没激起什么讨论水花。
9. 字节从2020年开始聚焦教育硬件赛道，但在双减政策后宣布破灭；2021年，字节斥资90亿元收购国内VR出货量第一的厂商PICO，并在研发、营销、运营等方面投入数百亿元，但随着PICO多次裁员，也宣告失败。
10. 对于狂飙突进的字节来说，销量或许并不重要。但离开匹配内容和用户的旧航道后，字节在AI赛道上缺乏方向，几次硬件的折戟，更让管理层难有信心全力新的形态，有说不出的无力感，毕竟商业世界有自己的物理规律。
阅读原文
2. 后张一鸣时代，字节跳动虽平稳运转，但也初步显露出疲态。br> 3. 字节跳动已经上线二十余款AI产品，涵盖视频生成、虚拟陪伴、图片生成等几乎所有热门细分赛道。
4. 字节跳动在AI狂奔的道路上，一直不愿放弃将大与硬件做结合。
5. 字节跳动选择用玩偶式AI攻入硬件腹地，与Jellycat的全球爆火不无关系。
6 字节跳动成立了AI矩阵Flow，重启了产品工厂模式，猛攻AI。
7. 字节跳动的AI产品大多也开发了海外版本，阶段性而言，字节AI出海更深入人心。
8. 字节AI在国内来去，没激起什么讨论水花。
9. 字节从2020年开始聚焦教育硬件赛道，但在双减政策后宣布破灭；2021年，字节斥资90亿元收购国内VR出货量第一的厂商PICO，并在研发、营销、运营等方面投入数百亿元，但随着PICO多次裁员，也宣告失败。
10. 对于狂飙突进的字节来说，销量或许并不重要。但离开匹配内容和用户的旧航道后，字节在AI赛道上缺乏方向，几次硬件的折戟，更让管理层难有信心全力新的形态，有说不出的无力感，毕竟商业世界有自己的物理规律。
视频生成模型能否“理解”物理规律？豆包大模型团队公布系统性实验结论
文章概要：
1. 字节跳动豆包大模型团队近期发布成果《How Far is Video Generation from World Model: A Physical Law Perspective》，该成果系统性分析了主流DiT架构视频生成模型能否从数据集中抽象并理解物理规律，并为此进行了系统性实验
2. 研究深入探讨了视频生成模型在学习物理定律时的泛化能力，尤其是在三种不同的泛化情境下：分布内泛化(ID)、分布外泛化(OOD)和组合泛化
3. 实验结果表明，模型规模和数据量的增加对分布内泛化至关重要，而简单的数据量和模型规模的增加无法有效提升模型在OOD场景中的推理能力
4. 当训练集覆盖了更多组合场景时，模型能够在未见过的组合中展现出更强的泛化能力
5. 视频生成模型对于分布外泛化表现不佳，但在组合场景下，数据和模型Scaling可带来一定提升，这究竟来自于案例学习，还是对底层规律的抽象理解?进行了相关实验
6. 模型似乎更多依赖记忆和案例模仿，而非抽象出普遍的物理规则，实现分布外泛化(OOD)
7. 视频生成模型更习惯于通过“颜色”寻找相似参考生成物体运动状态，其次是大小，再次是速度，最后才是形状
8. 模型对案例匹配的依赖限制了其效果。在不了解底层规则的情况下，模型检索并组合片段，可能会生成不符合现实的结果
9. 单纯依赖视频表示不足以进行精确的物理建模两位一作都非常年轻，一位是95后，一位是00后，在豆包大模型团队专注视觉领域的基础研究工作
阅读原文
2. 研究深入探讨了视频生成模型在学习物理定律时的泛化能力，尤其是在三种不同的泛化情境下：分布内泛化(ID)、分布外泛化(OOD)和组合泛化
3. 实验结果表明，模型规模和数据量的增加对分布内泛化至关重要，而简单的数据量和模型规模的增加无法有效提升模型在OOD场景中的推理能力
4. 当训练集覆盖了更多组合场景时，模型能够在未见过的组合中展现出更强的泛化能力
5. 视频生成模型对于分布外泛化表现不佳，但在组合场景下，数据和模型Scaling可带来一定提升，这究竟来自于案例学习，还是对底层规律的抽象理解?进行了相关实验
6. 模型似乎更多依赖记忆和案例模仿，而非抽象出普遍的物理规则，实现分布外泛化(OOD)
7. 视频生成模型更习惯于通过“颜色”寻找相似参考生成物体运动状态，其次是大小，再次是速度，最后才是形状
8. 模型对案例匹配的依赖限制了其效果。在不了解底层规则的情况下，模型检索并组合片段，可能会生成不符合现实的结果
9. 单纯依赖视频表示不足以进行精确的物理建模两位一作都非常年轻，一位是95后，一位是00后，在豆包大模型团队专注视觉领域的基础研究工作
太赞了吧！豆包大模型重磅上线：视频处理、音乐生成、同声翻译一键搞定！
文章概要：
1. Seaweed视频生成模型是豆包更新的大杀器，它可以根据输入的故事情节自动生成多个镜头，复杂提示词、多主体交互的效果，镜头切换流畅，角色动作灵动，表情细节拿捏到位，多种风格和比例，适用于短视频、创作、视频等场景
2. 音乐生成模型可以根据简单描述图片生成带旋律、歌词、演唱的音乐，适用于音乐创作、广告配乐、场景等> 3 同声传译模型可以实现跨语言的同音色翻译，几乎没有延迟，适用于会议、直播、国际合作等场合
4 豆包新成员为各行各业提供了便利，期待大家的体验反馈
阅读原文
2. 音乐生成模型可以根据简单描述图片生成带旋律、歌词、演唱的音乐，适用于音乐创作、广告配乐、场景等> 3 同声传译模型可以实现跨语言的同音色翻译，几乎没有延迟，适用于会议、直播、国际合作等场合
4 豆包新成员为各行各业提供了便利，期待大家的体验反馈
字节跳动豆包大模型团队推出超连接技术，深度学习模型性能显著提升
文章概要：
1. 字节跳动豆包大模型团队推出超连接技术深度学习模型性能显著提升
2. 超连接是一种创新的残差连接替代方案能够有效解决梯度消失和表示崩溃之间的问题
3.连接技术通过动态调整不同层之间的连接权重，显著提升了大规模语言模型预训练的性能，最高可加速80%的收敛速度
4. 超连接技术的核心在于引入可学习的深度连接和宽度连接模型能够动态调整不同层之间的连接，甚至重新排列网络层次结构
5. 超连接在D模型和MoE模型的预训练实验中，展现出显著的性能提升效果
6. 超连接在两个小型视觉任务中同样表现出色，显示出该方法在多个领域具有广泛应用前景
7. 超技术的细节包括静态和动态两种形式动态超连接的效果更佳
8. 字节跳动包大模型团队的这一成果不仅在技术实现了创新，也为深度学习领域了新的研究方向
9. 团队表示，他们将继续关注底层问题，尤其在LLMs和多模态方面，期望实现更多突破
0. 这一技术的进步有望推广到文音视图模态的不同任务，包括多模态理解和生成基座模型等，人工智能的发展带来新的动能
阅读原文
2. 超连接是一种创新的残差连接替代方案能够有效解决梯度消失和表示崩溃之间的问题
3.连接技术通过动态调整不同层之间的连接权重，显著提升了大规模语言模型预训练的性能，最高可加速80%的收敛速度
4. 超连接技术的核心在于引入可学习的深度连接和宽度连接模型能够动态调整不同层之间的连接，甚至重新排列网络层次结构
5. 超连接在D模型和MoE模型的预训练实验中，展现出显著的性能提升效果
6. 超连接在两个小型视觉任务中同样表现出色，显示出该方法在多个领域具有广泛应用前景
7. 超技术的细节包括静态和动态两种形式动态超连接的效果更佳
8. 字节跳动包大模型团队的这一成果不仅在技术实现了创新，也为深度学习领域了新的研究方向
9. 团队表示，他们将继续关注底层问题，尤其在LLMs和多模态方面，期望实现更多突破
0. 这一技术的进步有望推广到文音视图模态的不同任务，包括多模态理解和生成基座模型等，人工智能的发展带来新的动能
曝字节开启豆包内测，正式杀入AI视频生成领域；川普回归，或将利好AI发展；淘宝升级AI产品「生意管家」，助力双十一丨AI情报局
文章概要：
1. 特朗普战胜对手哈里斯，成为美国第47任总统，他计划第一天废除拜登政府的《人工智能行政命令》，并推行宽松的AI监管政策。
2. 字节跳动旗下大模型AI助手豆包正式推出视频生成内测，支持图片文字一键成片、动态运镜和多镜头一致性、风格比例随意挑选。
3. 阿里巴巴正在测试AI视频创作工具Animode，该工具可以帮助用户制作动画风格的视频。
4. 淘宝升级AI产品“生意管家”，双11期间已累计服务400万商家，帮助中小商家生成超过1亿件商品及营销素材，帮助超80商家进行了超200万次的数据流量分析。
5. 微软申请专利以应对AI“幻觉”问题，该专利的名称为“利用外部知识和反馈与语言模型互动”，这一提案的核心是为AI模型提供一种“响应增强系统”（RAS）使其能够根据用户的查询自动提取更多信息，并检查其回答的“有效性”。
阅读原文
2. 字节跳动旗下大模型AI助手豆包正式推出视频生成内测，支持图片文字一键成片、动态运镜和多镜头一致性、风格比例随意挑选。
3. 阿里巴巴正在测试AI视频创作工具Animode，该工具可以帮助用户制作动画风格的视频。
4. 淘宝升级AI产品“生意管家”，双11期间已累计服务400万商家，帮助中小商家生成超过1亿件商品及营销素材，帮助超80商家进行了超200万次的数据流量分析。
5. 微软申请专利以应对AI“幻觉”问题，该专利的名称为“利用外部知识和反馈与语言模型互动”，这一提案的核心是为AI模型提供一种“响应增强系统”（RAS）使其能够根据用户的查询自动提取更多信息，并检查其回答的“有效性”。
字节豆包大模型团队重大突破！打破残差连接枷锁，预训练收敛速率飙升 80%
文章概要：
1. 自 ResNet 问世以来，残差连接便成为深度学习模型架构中不可或缺的基础构成要素。其核心功效在于有效缓解梯度消失现象，从而为网络训练过程赋予更高的稳定性，有力推动了模型训练的顺利开展。
2. 字节豆包大模型 Foundation 团队在近期创新性地提出了超连接（Hyper-Connections）技术。该项技术精准锚定上述“跷跷板式”困境，通过独特的设计理念与精妙的技术实现，成功实现了在这两大性能提升。
3. 超连接的核心思想是引入两种全新的可学习连接类型，即深度连接（Depth-connections和宽度连接（Width-connections）。
4. 超连接（Hyper-connections）有着独特的工作机制。首先，聚焦于第 k 层的输入隐藏向量，网络的初始输入被复制 n 次，从而形成初始的超隐藏矩阵（Hyper Hidden Matrix）。
5. 研究团队提出了一个新颖的观点，认为残差连接的两种变体，即前归一化（Pre-Norm）和后归一化（Post-Norm），实际上可以被看作是不可训练的超连接。
6. 实验结果确凿地表明，超连接无论是在大规模语言模型的预训练阶段，还是在视觉任务领域，均展现出极为突出的性能提升效果。
阅读原文
2. 字节豆包大模型 Foundation 团队在近期创新性地提出了超连接（Hyper-Connections）技术。该项技术精准锚定上述“跷跷板式”困境，通过独特的设计理念与精妙的技术实现，成功实现了在这两大性能提升。
3. 超连接的核心思想是引入两种全新的可学习连接类型，即深度连接（Depth-connections和宽度连接（Width-connections）。
4. 超连接（Hyper-connections）有着独特的工作机制。首先，聚焦于第 k 层的输入隐藏向量，网络的初始输入被复制 n 次，从而形成初始的超隐藏矩阵（Hyper Hidden Matrix）。
5. 研究团队提出了一个新颖的观点，认为残差连接的两种变体，即前归一化（Pre-Norm）和后归一化（Post-Norm），实际上可以被看作是不可训练的超连接。
6. 实验结果确凿地表明，超连接无论是在大规模语言模型的预训练阶段，还是在视觉任务领域，均展现出极为突出的性能提升效果。
OpenAI买下域名chat.com；字节跳动AI助手豆包开启视频生成内测丨AIGC日报
文章概要：
1. 沙特计划斥资1000打造人工智能强国，以媲美阿联酋的科技中心
2. 谷歌可控制的助手Jarvis被意外
3. 鹏城实验室、闼机器人、华为诺亚方舟实验室等联合研究团队推出基航点感知世界模型PIVOT-R
4. 字节跳动AI助手豆包开启视频生成内测
5. OpenAI买下域名chat.com
阅读原文
2. 谷歌可控制的助手Jarvis被意外
3. 鹏城实验室、闼机器人、华为诺亚方舟实验室等联合研究团队推出基航点感知世界模型PIVOT-R
4. 字节跳动AI助手豆包开启视频生成内测
5. OpenAI买下域名chat.com