多模态大模型评测集最全综述，涵盖近200个评测集
文章概要：
1. 本综述对200个多模态大模型评测集进行了全面的回顾和总结，涵盖了MLLM评估的五个关键领域：感知和理解、认知和推理、特定领域、关键能力和其他模态，共包括20-30个详细类别。
2. 作者还展示了与MLLM评估相关的论文的随时间的增长趋势，表明该研究领域在近两年的飞速发展。
3. 此外，作者还提供了自202年以来在83个基准测试中表现最好的MLLM的统计数据。相比之下，OpenAI的GPT-4和Google的Gemini表现十分优异。
阅读原文
2. 作者还展示了与MLLM评估相关的论文的随时间的增长趋势，表明该研究领域在近两年的飞速发展。
3. 此外，作者还提供了自202年以来在83个基准测试中表现最好的MLLM的统计数据。相比之下，OpenAI的GPT-4和Google的Gemini表现十分优异。
NeurIPS 2024｜大模型的词表大小，同样适用于Scaling Law
文章概要：
1. 本研究通过训练不同词表配置的模型，提出三种预测最优词表大小的方法：基于FLOPs的、基于导数的和基于损失函数参数拟合的估计方法
2. 研究结果表明，更大的模型应配备更大的词表，且给定算力情况下，最优词表大小有上限，如Llama2-70B最优词表大小至少216K
3. 模型中的非词表参数与最优词表参数关系遵循幂律，增长速度应慢于
4. 本文提出3种预测最优词表大小的方法，列出当前主流LLMs词表参数和预测最优词表参数的关系，当前大多数LLMs词表参数因词表大小小于预测最优值而处于次优状态
5. 本文分析了词表大小增长时模型性能先提高后降低的原因，在固定FLOP预算下，存在使损失最小化的最优词表大小
. 论文描述了三种不同的方法来估计大型语言模型（LLMs）的最优词表大小，包括：通过IsoFLOPs估计幂律、基于导数的快速估计和损失公式的参数拟合
7. 本文报告了基于三种方法预测的最优词表参数和大小，结果显示，随着非词表参数增加，最优词表参数和词表大小也随之增加
8. 为验证预测，在3B参数模型上进行实验，结果表明，使用预测最优词表大小的模型在多个任务上优于使用常规词表大小的模型
9. 为验证方法3能处理训练数据量变化对最优词表大小的影响，将词表大小为的模型与方法3预测的最优词表大小的模型进行比较，结果表明，预测可根据不同训练数据量调整词表大小，实现更好的模型
10. 本文通过实验验证词表大小对语言模型性能有显著影响，存在最优词表大小使模型最大化，提出的三种方法都基于计算预算和模型性能的关系，强调设计和训练LLMs时，需综合考虑模型参数、训练数据和词表大小，建议分配计算资源时考虑词表大小的影响
阅读原文
2. 研究结果表明，更大的模型应配备更大的词表，且给定算力情况下，最优词表大小有上限，如Llama2-70B最优词表大小至少216K
3. 模型中的非词表参数与最优词表参数关系遵循幂律，增长速度应慢于
4. 本文提出3种预测最优词表大小的方法，列出当前主流LLMs词表参数和预测最优词表参数的关系，当前大多数LLMs词表参数因词表大小小于预测最优值而处于次优状态
5. 本文分析了词表大小增长时模型性能先提高后降低的原因，在固定FLOP预算下，存在使损失最小化的最优词表大小
. 论文描述了三种不同的方法来估计大型语言模型（LLMs）的最优词表大小，包括：通过IsoFLOPs估计幂律、基于导数的快速估计和损失公式的参数拟合
7. 本文报告了基于三种方法预测的最优词表参数和大小，结果显示，随着非词表参数增加，最优词表参数和词表大小也随之增加
8. 为验证预测，在3B参数模型上进行实验，结果表明，使用预测最优词表大小的模型在多个任务上优于使用常规词表大小的模型
9. 为验证方法3能处理训练数据量变化对最优词表大小的影响，将词表大小为的模型与方法3预测的最优词表大小的模型进行比较，结果表明，预测可根据不同训练数据量调整词表大小，实现更好的模型
10. 本文通过实验验证词表大小对语言模型性能有显著影响，存在最优词表大小使模型最大化，提出的三种方法都基于计算预算和模型性能的关系，强调设计和训练LLMs时，需综合考虑模型参数、训练数据和词表大小，建议分配计算资源时考虑词表大小的影响
【 86.9k 下载! 】Mistral AI开源Pixtral-12B多模态大模型，效果力压llama3.2/Qwen2-VL
文章概要：
1. 介绍Mistral AI开源的Pixtral-12B多模态大模型，称其效果力压llama3.2/Qwen2-VL。
2. 提供了Pixtral 1B多模态大模型的介绍、架构、性能、部署代码和效果测试等内容。
3. 展示了该模型在图片内容描述、表格识别、数据分析等多个方面的出色表现。
阅读原文
2. 提供了Pixtral 1B多模态大模型的介绍、架构、性能、部署代码和效果测试等内容。
3. 展示了该模型在图片内容描述、表格识别、数据分析等多个方面的出色表现。
生物分子理解与设计AI模型：InstructBioMol
文章概要：
1. 浙江大学等机构的研究团队提出了InstructBioMol模型，旨在弥合自然生物分子之间的鸿沟。
2. InstructBioMol是一个统一的多模态大语言模型，能够同时处理自然语言、分子和蛋白质。
3. InstructBioMol的关键创新点包括生物分子指令跟随、多模态数据理解和作为研究助手并支持实际生物分子任务。
4. InstructBioMol的架构由基于motif引导的多模态特征提取模块和生物分子词汇扩展语言模型组成。
5. InstructBioMol的训练采用了“持续预训练+指令微调”的范式。
6. 实验结果，InstructBioMol在分子理解与任务和蛋白质理解与设计任务中都取得了优异的表现。
7. InstructBioMol在药物发现和设计任务中也展现出了巨大潜力。
8. InstructBioMol开创了使用大语言模型处理生物分子数据的新范式，展示了通用智能在一个模型处理多样化任务的潜力。
研究团队也指出了InstructBioMol当前的一些局限性，包括受计算资源，无法全面支持所有生物分子，尚未在所有生物分子任务上进行全面训练，限制了其处理某些额外任务的能力。
0. 未来的研究方向包括通过整合更多多模态编码器和扩展词汇表，增强模型对其他生物分子的编码和生成能力，加强InstructBioMol与人类价值观和伦理的一致性，确保其符合社会规范能安全有效地激发生物分子创新。
阅读原文
2. InstructBioMol是一个统一的多模态大语言模型，能够同时处理自然语言、分子和蛋白质。
3. InstructBioMol的关键创新点包括生物分子指令跟随、多模态数据理解和作为研究助手并支持实际生物分子任务。
4. InstructBioMol的架构由基于motif引导的多模态特征提取模块和生物分子词汇扩展语言模型组成。
5. InstructBioMol的训练采用了“持续预训练+指令微调”的范式。
6. 实验结果，InstructBioMol在分子理解与任务和蛋白质理解与设计任务中都取得了优异的表现。
7. InstructBioMol在药物发现和设计任务中也展现出了巨大潜力。
8. InstructBioMol开创了使用大语言模型处理生物分子数据的新范式，展示了通用智能在一个模型处理多样化任务的潜力。
研究团队也指出了InstructBioMol当前的一些局限性，包括受计算资源，无法全面支持所有生物分子，尚未在所有生物分子任务上进行全面训练，限制了其处理某些额外任务的能力。
0. 未来的研究方向包括通过整合更多多模态编码器和扩展词汇表，增强模型对其他生物分子的编码和生成能力，加强InstructBioMol与人类价值观和伦理的一致性，确保其符合社会规范能安全有效地激发生物分子创新。
基于独立训练扩散网络的AI蛋白质从头设计新方法,摆脱预训练模型局限性
文章概要：
1. 研究论文提出了一种名为SCUBA-D的新型蛋白质从头设计方法，通过独立训练的扩散概率模型来生成可设计的蛋白质骨架结构，突破了依赖预训练结构预测模型的局限性。
2. SCUBA-D采用了去噪扩散概率模型（DDPM）的框架在训练目标和网络结构上进行了创新设计。
3. 研究人员通过一系列计算实验和湿实验对SCUBA-D的性能进行了全面评估。
4. SCUBA-D的成功为蛋白质从头设计开辟了方向。
阅读原文
2. SCUBA-D采用了去噪扩散概率模型（DDPM）的框架在训练目标和网络结构上进行了创新设计。
3. 研究人员通过一系列计算实验和湿实验对SCUBA-D的性能进行了全面评估。
4. SCUBA-D的成功为蛋白质从头设计开辟了方向。
大模型在国产工业软件中的应用场景探索
文章概要：
1. 本文以武汉开目信息技术股份有限公司自研的基于大模型的工艺自动生成系统为例，阐述了AI大模型在相关工业软件中的应用场景、技术难点及其解决方案。
2. 大模型是当前全球数字经济发展的热点和趋势，也是人工智能重要的核心技术。本文旨在探索大模型与国产工业软件的及其落地实现方式。探讨了工业大模型的概念及其在工业软件中的应用场景。
3. 以武汉开目信息技术股份有限公司自研的基于大模型的工艺自动生成系统为例，阐述了AI大模型在相关工业软件中的应用场景、技术难点及其解决方案。通过对大模型的研究，本文为大模型与工业软件的深度融合提供了新的视角和应用落地的思路。br> 4. 工业大模型技术在工业软件中的应用场景包括研发与设计、生产与制造、售后运维等。
5. 以武汉开目自研的工艺自动生成系统为案例，分析了大模型在工业软件中的应用场景、技术难点及解决方案。
阅读原文
2. 大模型是当前全球数字经济发展的热点和趋势，也是人工智能重要的核心技术。本文旨在探索大模型与国产工业软件的及其落地实现方式。探讨了工业大模型的概念及其在工业软件中的应用场景。
3. 以武汉开目信息技术股份有限公司自研的基于大模型的工艺自动生成系统为例，阐述了AI大模型在相关工业软件中的应用场景、技术难点及其解决方案。通过对大模型的研究，本文为大模型与工业软件的深度融合提供了新的视角和应用落地的思路。br> 4. 工业大模型技术在工业软件中的应用场景包括研发与设计、生产与制造、售后运维等。
5. 以武汉开目自研的工艺自动生成系统为案例，分析了大模型在工业软件中的应用场景、技术难点及解决方案。
传百度、百川、零一万物逐步放弃预训练大模型，“AI 六小龙”卷得动应用？
文章概要：
1 生成式AI创业热潮中，国内诞生了最具代表性的大模型独角兽"AI六小虎"，包括智谱AI、百川智能、零一万物月之暗面、Minimax、阶跃星辰。
2. 有消息称“AI中已经有两家，逐步放弃预训练模型，缩减预训练算法团队，业务重心转向AI应用，这两家公司很有可能是一万物和百川智能。
3. 百度曾传出“大概率放弃通用基础大模型研发，主要做应用”的消息，但很快百度辟谣。
4. 李彦宏多次对外公开表示，“卷大模型没有意义，卷应用机会更大”。
5. 今年以来，对AI大模型的焦点已从模型技术本身，转向了应用落地。
6. 随着第三方预训练模型的性能提高，应用层企业逐步放弃预训练模型，专注于面向用户的“后训练（post-train）”环节，被认为稳健发展的理性选择。
7.的AI应用逐渐代替领先的模型性能，似乎成为厂商留在AI牌桌上的选项。
阅读原文
2. 有消息称“AI中已经有两家，逐步放弃预训练模型，缩减预训练算法团队，业务重心转向AI应用，这两家公司很有可能是一万物和百川智能。
3. 百度曾传出“大概率放弃通用基础大模型研发，主要做应用”的消息，但很快百度辟谣。
4. 李彦宏多次对外公开表示，“卷大模型没有意义，卷应用机会更大”。
5. 今年以来，对AI大模型的焦点已从模型技术本身，转向了应用落地。
6. 随着第三方预训练模型的性能提高，应用层企业逐步放弃预训练模型，专注于面向用户的“后训练（post-train）”环节，被认为稳健发展的理性选择。
7.的AI应用逐渐代替领先的模型性能，似乎成为厂商留在AI牌桌上的选项。
【多模态 & 文档智能】一次多模态大模型表格识别解析探索小实践记录
文章概要：
1. 介绍表格识别是文档智能的重要组成部分，面临复杂格式的挑战
2. 国庆期间，作者训练了一个多模态表格模型，效果不错，并记录了多模态的效果
数量一切，含大量数据的超长文本表格目前还不能识别> 4. 效果记录：展示了一些网络表格截图的案例
阅读原文
2. 国庆期间，作者训练了一个多模态表格模型，效果不错，并记录了多模态的效果
数量一切，含大量数据的超长文本表格目前还不能识别> 4. 效果记录：展示了一些网络表格截图的案例
【财通计算机】端侧AI加速，字节发布AI耳机，融入豆包模型
文章概要：
1. 2024年10日，字节跳动旗下豆包大模型团队发布了首款AI智能体耳机Ola Friend，与豆包大模型深度融合，同时接入Seed-ASR语音识别技术已开启，于10月17日正式发货，售价1199元。
2 豆包AI耳机的，模型链路，为大模型应用的结合提供了新思路，当前功能侧重学习和娱乐后续有望OTA不断丰富应用场景br>. 豆包月活335万人，领跑国内AIGC App榜，App内情感陪伴类智能占比43.。
4. 中国蓝牙耳机市场以20.8持续扩张耳机或易被用户接受
5. 投资建议：建议关注漫步者、传音控股、讯飞等。
6. 风险提示：创新失败风险，行业加剧风险，商业化不及预期风险等。
阅读原文
2 豆包AI耳机的，模型链路，为大模型应用的结合提供了新思路，当前功能侧重学习和娱乐后续有望OTA不断丰富应用场景br>. 豆包月活335万人，领跑国内AIGC App榜，App内情感陪伴类智能占比43.。
4. 中国蓝牙耳机市场以20.8持续扩张耳机或易被用户接受
5. 投资建议：建议关注漫步者、传音控股、讯飞等。
6. 风险提示：创新失败风险，行业加剧风险，商业化不及预期风险等。
GPT应用迟未爆发，大模型泡沫初现，根源究竟在哪里？
文章概要：
1. 大模型行业泡沫正在显现，OpenAI的ARR已达41亿美元，但多位核心高管离职，且GPT更像是超级APP，而非底层平台，平台化瓶颈未得到根本改变
2. AI投资逻辑困局，应用场景派需应对LLM能推动应用场景爆发的底层driver等问题的挑战，底层技术派则面临上层杀手级应用迟迟未出现等瓶颈
3. 技术和商业化路线困局，数据困局是自称“AI驱动”的企业必须拥有足够的私有数据，才有足够的护城河，而垂直行业企业私有数据暂未被充分利用
4. 算力是为打破英伟达显卡带来的高额算力成本投入的僵局，很多下游行业玩家推出“垂直行业小模型”或者“端侧小模型”，但可惜在技术路线上很难真正有捷径可走
5. 潜在破局方案，借鉴互联网时代的思考，短期投资策略是“垂直整合应用派”，长期可能演变是新训练方法出现与持续优化、预训练及推理成本和门槛大大降低、彻底改变预训练+后训练的模式
6 总结，目前大模型的应用层和底座层尚未解耦，投资策略可暂时围绕上下层垂直整合的应用展开，同时需密切观察、等待真正的平台/操作系统的出现，应用和底座模型层未解耦的根本原因之一是在于数据在技术栈内的强耦合
阅读原文
2. AI投资逻辑困局，应用场景派需应对LLM能推动应用场景爆发的底层driver等问题的挑战，底层技术派则面临上层杀手级应用迟迟未出现等瓶颈
3. 技术和商业化路线困局，数据困局是自称“AI驱动”的企业必须拥有足够的私有数据，才有足够的护城河，而垂直行业企业私有数据暂未被充分利用
4. 算力是为打破英伟达显卡带来的高额算力成本投入的僵局，很多下游行业玩家推出“垂直行业小模型”或者“端侧小模型”，但可惜在技术路线上很难真正有捷径可走
5. 潜在破局方案，借鉴互联网时代的思考，短期投资策略是“垂直整合应用派”，长期可能演变是新训练方法出现与持续优化、预训练及推理成本和门槛大大降低、彻底改变预训练+后训练的模式
6 总结，目前大模型的应用层和底座层尚未解耦，投资策略可暂时围绕上下层垂直整合的应用展开，同时需密切观察、等待真正的平台/操作系统的出现，应用和底座模型层未解耦的根本原因之一是在于数据在技术栈内的强耦合
研究 | 通义千问开源大模型许可协议合规探析
文章概要：
1. 通义千问是阿里云开发的大语言模型，2023年8月3日正式开源，发布了QwenB和Qwen-7B-Chat两款开源模型，2023年相继发布了Qwen-1_8B、Qwen-72B和Qwen-Audio。2024年4月28日，阿里云发布了Qwen-1.5系列大模型。2024年6月，阿里云发布了Qwen-2系列大模型，其中Qwen2-72B在2024年6月登顶HuggingFace排行榜，在Compass Arena测评中，Qwen2-72B也超过了一众闭源商业模型。2024年9月19日，阿里云发布了新一代的开源模型wen2.5系列。
2. 通义千问开源大模型许可协议（Tongyi Qian LICENSE AGREEMENT）在2023年8月3日发布，许可证内容包括9个条款，主要内容包括定义、授予权利、再分发、限制、使用规则、知识产权、无担保和责任限制声明、存续和终止、适用法律和司法管辖权。
3. 通义千问研究许可协议（Tongyi Qianwen RESEARCH LICENSE AGREEMENT）在2023年11月30日发布，许可证内容包括9个条款，主要内容包括定义、授予权利、再分发、限制、使用规则、知识产权、无担保和责任限制声明、存续和终止、适用法律和司法管辖权。
4. 千问许可协议（Qwen LICENSE AGREEMENT）在202年9月19日发布，许可证内容包括9个条款，主要内容包括定义、授予权利、再分发、限制、使用规则、知识产权、无担保和责任限制声明、存续和终止、适用法律和司法管辖权。
5. 千问研究许可协议（Qwen RESEARCH LICENSE AGREEMENT）在224年9月19日发布，许可证内容包括9个条款，主要内容包括定义、授予权利、再分发、限制、使用规则、知识产权、无担保和责任声明、存续和终止、适用法律和司法管辖权。
6. 商业公司在合规复制、分发和利用通义千问开源大模型应当关注通义千问开源大模型许可协议授予被许可人对材料（即模型、代码和文档）的复制、分发和修改的许可，阿里云根据通义千问开源大模型系列许可协议对被许可人的授权范围是不包括商标和商号权的其他知识产权，特别关注通义千问开源大模型系列许可协议对模型商业使用的限制条件，被许可人可对通义千问开源大模型修改形成派生作品，且强制开源义务，复制、分发和利用通义千问开源模型，其系列许可协议对于使用用途的限制少于适用RAIL许可证大模型的使用用途限制，复制、分发、利用通义千问开源大模型的争议适用中国法律，杭州法院具管辖权。
阅读原文
2. 通义千问开源大模型许可协议（Tongyi Qian LICENSE AGREEMENT）在2023年8月3日发布，许可证内容包括9个条款，主要内容包括定义、授予权利、再分发、限制、使用规则、知识产权、无担保和责任限制声明、存续和终止、适用法律和司法管辖权。
3. 通义千问研究许可协议（Tongyi Qianwen RESEARCH LICENSE AGREEMENT）在2023年11月30日发布，许可证内容包括9个条款，主要内容包括定义、授予权利、再分发、限制、使用规则、知识产权、无担保和责任限制声明、存续和终止、适用法律和司法管辖权。
4. 千问许可协议（Qwen LICENSE AGREEMENT）在202年9月19日发布，许可证内容包括9个条款，主要内容包括定义、授予权利、再分发、限制、使用规则、知识产权、无担保和责任限制声明、存续和终止、适用法律和司法管辖权。
5. 千问研究许可协议（Qwen RESEARCH LICENSE AGREEMENT）在224年9月19日发布，许可证内容包括9个条款，主要内容包括定义、授予权利、再分发、限制、使用规则、知识产权、无担保和责任声明、存续和终止、适用法律和司法管辖权。
6. 商业公司在合规复制、分发和利用通义千问开源大模型应当关注通义千问开源大模型许可协议授予被许可人对材料（即模型、代码和文档）的复制、分发和修改的许可，阿里云根据通义千问开源大模型系列许可协议对被许可人的授权范围是不包括商标和商号权的其他知识产权，特别关注通义千问开源大模型系列许可协议对模型商业使用的限制条件，被许可人可对通义千问开源大模型修改形成派生作品，且强制开源义务，复制、分发和利用通义千问开源模型，其系列许可协议对于使用用途的限制少于适用RAIL许可证大模型的使用用途限制，复制、分发、利用通义千问开源大模型的争议适用中国法律，杭州法院具管辖权。
赛意信息“基于善谋GPT的PCB行业大模型”获华为昇腾技术认证
文章概要：
1. 赛意信息“基于善谋GPT的PCB行业大模型”获华为昇腾技术认证。
2. 该模型成功与华为技术有限公司框架昇思MindSpore完成相互兼容性测试，并取得华为昇腾证书及Ascend Compatible徽标的使用权。
3. 赛意信息将持续结合华为昇腾生态体系落地更多基于行业需求的具体场景的AI，与更多生态内及开发者携手，共同打造不同领域和场景的解决方案，丰富AI生态布局，共同推动人工智能产业的繁荣发展。
阅读原文
2. 该模型成功与华为技术有限公司框架昇思MindSpore完成相互兼容性测试，并取得华为昇腾证书及Ascend Compatible徽标的使用权。
3. 赛意信息将持续结合华为昇腾生态体系落地更多基于行业需求的具体场景的AI，与更多生态内及开发者携手，共同打造不同领域和场景的解决方案，丰富AI生态布局，共同推动人工智能产业的繁荣发展。
北京师范大学联手好未来发布北京市首个基础教育大模型平台
文章概要：
1. 近日，北京市人工智能创新策源地引领推介会上，北京市科委、中关村管委会首批北京人工智能应用场景联合研发平台，涵盖政务、教育、智慧城市、文化体育、、金融等重点行业，探索大模型技术与场景深度融合的新路径。其中，基础教育北京人工智能场景应用平台由北京市教育委员会指导，北京师范大学、好未来联合建设。活动现场，北京师范大学人工智能学院院长黄华、好未来集团CTO田密代表签字，正式对外发布。
2. 基础教育北京人工智能场景应用平台（以下简称应用平台）旨在搭建一个领域的教育大模型，并以此为基础最终形成相关应用生态并产生一系列解决方案，打通人工智能应用落地的“最后一公里”。
3. 近年来，基础教育大模型的研究受到广泛关注并取得一定进展，但仍存在缺乏生态和成套应用解决方案等问题。由于教育本身和学科知识的，使得缺乏复杂处理能力和深度理解能力的传统人工智能产品无法为基础教育领域提供高质量服务。因此亟需在教育教学理论指导下，研发具有基础教育特色的大模型关键技术。
4. 据介绍，应用平台将重点突破支持全场景化多模态基础教育大模型评测方法、基础教育领域数据的构建和清洗方法、基础教育基座大模型的高效训练策略等技术。最终，研发可参考的技术规范、开放的评测平台、开源的基座大模型基于大模型的基础教育应用解决方案并在中小学进行应用示范，支撑北京教育领域大模型测试场、提供评测服务加速企业应用解决方案的研发进度、降低研发成本，助力基础教育大模型产业的生态建设和产业健康发展，提升基础教育行业智能化水平。
5. 田密表示，“教育行业存在的‘不可能’理论——即个性化、高质量和大规模很难同时做到，要打破不可能，只能靠AI技术的发展，模型AI技术的出现，让我们看见了曙光”。教育大模型的终极梦想是真正实现的，为每个老师配备一个AI助教，为每个孩子配备一个AI学伴。
阅读原文
2. 基础教育北京人工智能场景应用平台（以下简称应用平台）旨在搭建一个领域的教育大模型，并以此为基础最终形成相关应用生态并产生一系列解决方案，打通人工智能应用落地的“最后一公里”。
3. 近年来，基础教育大模型的研究受到广泛关注并取得一定进展，但仍存在缺乏生态和成套应用解决方案等问题。由于教育本身和学科知识的，使得缺乏复杂处理能力和深度理解能力的传统人工智能产品无法为基础教育领域提供高质量服务。因此亟需在教育教学理论指导下，研发具有基础教育特色的大模型关键技术。
4. 据介绍，应用平台将重点突破支持全场景化多模态基础教育大模型评测方法、基础教育领域数据的构建和清洗方法、基础教育基座大模型的高效训练策略等技术。最终，研发可参考的技术规范、开放的评测平台、开源的基座大模型基于大模型的基础教育应用解决方案并在中小学进行应用示范，支撑北京教育领域大模型测试场、提供评测服务加速企业应用解决方案的研发进度、降低研发成本，助力基础教育大模型产业的生态建设和产业健康发展，提升基础教育行业智能化水平。
5. 田密表示，“教育行业存在的‘不可能’理论——即个性化、高质量和大规模很难同时做到，要打破不可能，只能靠AI技术的发展，模型AI技术的出现，让我们看见了曙光”。教育大模型的终极梦想是真正实现的，为每个老师配备一个AI助教，为每个孩子配备一个AI学伴。
ChainTuning: 自演化大模型微调实现高确定性的NL2SQL
文章概要：
1. 微信公众平台
阅读原文
【源头活水】细谈大模型监督微调SFT：实战经验技巧和debug分析思路
文章概要：
1. 背景篇：介绍大模型SFT的基础概念， Token、耗时问题、与pretrain的区别、幻觉问题等。
2. 数据篇：SFT训练数据的核心是数据多样性和数据质量，数据数量并不重要。数据多样性包括数据用途和数据形式两个维度数据生产包括生产prompt和answer，数据飞轮是SFT工作的良性循环状态，专项数据包括RAG、Agent/function_call、长文本、复杂指令等。
3. 训练篇：SFT阶段用deepspeed挺好的，炼丹技巧包括小模型大学习率，大模型小学习率，epoch基本上就是1～3个，数据是0W级别左右，起始训练适当做点warmup，几种主流的lr_scheduler都试一下，gradient_accumulation_steps是个比较重要的参数，按需求开dropout。
4. 评估篇：SFT的评估是需要看经典的3H原则的：Helpfulness、Honesty、Harmlessness。评估方式包括机评和人评，SFT的评估结果分析其实就是做case分析。
阅读原文
2. 数据篇：SFT训练数据的核心是数据多样性和数据质量，数据数量并不重要。数据多样性包括数据用途和数据形式两个维度数据生产包括生产prompt和answer，数据飞轮是SFT工作的良性循环状态，专项数据包括RAG、Agent/function_call、长文本、复杂指令等。
3. 训练篇：SFT阶段用deepspeed挺好的，炼丹技巧包括小模型大学习率，大模型小学习率，epoch基本上就是1～3个，数据是0W级别左右，起始训练适当做点warmup，几种主流的lr_scheduler都试一下，gradient_accumulation_steps是个比较重要的参数，按需求开dropout。
4. 评估篇：SFT的评估是需要看经典的3H原则的：Helpfulness、Honesty、Harmlessness。评估方式包括机评和人评，SFT的评估结果分析其实就是做case分析。
大模型引领百业蝶变，开启数字化新篇章 | AI大模型企业落地应用场景主题研讨峰会邀您共赴热AI
文章概要：
1 科技日新月异，以生成式大模型的人工智能正以前所未有的速度让世界焕然一新。AI技术正在开启全新的数智化时代。br> 2. 当前，全球经济结构发生深刻变革，数字化转型已经发展成为全球企业，甚至是国家层面追求的目标。AI势兴，不仅对商业模式进行彻底变革，实现千行百业数字化转型的重要推手，更是成为推动经济增长的关键引擎。
3.数字化转型过程中，AI大模型发挥着重要的。大模型应用已覆盖多个行业和领域，正逐渐成为当代全球科技的重要支柱。
4. 大模型为千行百业带来巨大的发展机遇，产生了巨大的蝶变效应，但是，AI大模型在应用实践和发展过程中着前所未有的挑战。
5. AI发展势不可挡，从技术角度出发，持续不断地科技创新无疑是破解挑战之道，不仅需要行业交流融合和技术创新，也需要企业更多的参与到AI生态建设中去，更需要政府出台响应政策和法律法规为AI应用保驾护航。
6. 在全球化趋势下，实现AI应用所有和闭环，国际合作变得尤为重要。
随着模型应用的不断提速，了千行百业的巨大价值，甚至已经成为多地的主导产业之一。
8. 为探寻AI大模型未来演进趋势，聚焦AI落地企业应用实践场景，纾解AI大模型落地实践困局，由DTinsight中国数智研究中心主办，以“AI助力 百业变” 为主题，业内首场针对甲方企业的“AI大模型企业落地应用场景主题研讨峰会”将于 2024年13日在北京隆重启幕。
阅读原文
3.数字化转型过程中，AI大模型发挥着重要的。大模型应用已覆盖多个行业和领域，正逐渐成为当代全球科技的重要支柱。
4. 大模型为千行百业带来巨大的发展机遇，产生了巨大的蝶变效应，但是，AI大模型在应用实践和发展过程中着前所未有的挑战。
5. AI发展势不可挡，从技术角度出发，持续不断地科技创新无疑是破解挑战之道，不仅需要行业交流融合和技术创新，也需要企业更多的参与到AI生态建设中去，更需要政府出台响应政策和法律法规为AI应用保驾护航。
6. 在全球化趋势下，实现AI应用所有和闭环，国际合作变得尤为重要。
随着模型应用的不断提速，了千行百业的巨大价值，甚至已经成为多地的主导产业之一。
8. 为探寻AI大模型未来演进趋势，聚焦AI落地企业应用实践场景，纾解AI大模型落地实践困局，由DTinsight中国数智研究中心主办，以“AI助力 百业变” 为主题，业内首场针对甲方企业的“AI大模型企业落地应用场景主题研讨峰会”将于 2024年13日在北京隆重启幕。
一个关于学习大模型技术的方法论
文章概要：
1. 本文讨论了学习大模型技术的方法论，即学习的方法
2. 学习大模型技术需要明确学习目的，根据目的选择方法。
. 学习大模型技术需要注重实践，将理论和实践相结合。
4. 学习大模型技术需要停止看手机，停止搜索怎么学习大模型，找，一个视频，然后找场景，尝试用大模型去解决某个问题。
阅读原文
2. 学习大模型技术需要明确学习目的，根据目的选择方法。
. 学习大模型技术需要注重实践，将理论和实践相结合。
4. 学习大模型技术需要停止看手机，停止搜索怎么学习大模型，找，一个视频，然后找场景，尝试用大模型去解决某个问题。
权威认证｜小猿学练机AI大模型获中国信通院最高评级认证
文章概要：
1. 中国信通院“可信AI”大模型评测结果，小猿机的辅导大模型获得模型开发5评级，为目前最高。
2. 中国信通院对猿辅导大模型进行了多维度评估，其在模型方面表现，具备完备的模型开发流程及链。
3. 截至今年9月5级认证的企业仅有3个，小猿学练机是其中之一。
4. 猿辅导大模型具有学情分析、作文辅导、作文批改、互动阅读AI问答对话等十几种核心教育能力，现已全面融合应用到小猿学练机中。
5. 孩子们每天都在使用的AI批改功能小猿学练机大模型应用的直观体现。
6. 深受孩子们喜爱的AI互动阅读功能和批改功能大模型融合大语文的典型应用。
7. 今年暑假与孩子们见面的AI问答功能，也是大模型的深度应用。
8. 小猿练机将持续发挥技术创新，充分应用大模型开发能力积极探索更多大应用场景以智能化推动个性化学习变革。
阅读原文
2. 中国信通院对猿辅导大模型进行了多维度评估，其在模型方面表现，具备完备的模型开发流程及链。
3. 截至今年9月5级认证的企业仅有3个，小猿学练机是其中之一。
4. 猿辅导大模型具有学情分析、作文辅导、作文批改、互动阅读AI问答对话等十几种核心教育能力，现已全面融合应用到小猿学练机中。
5. 孩子们每天都在使用的AI批改功能小猿学练机大模型应用的直观体现。
6. 深受孩子们喜爱的AI互动阅读功能和批改功能大模型融合大语文的典型应用。
7. 今年暑假与孩子们见面的AI问答功能，也是大模型的深度应用。
8. 小猿练机将持续发挥技术创新，充分应用大模型开发能力积极探索更多大应用场景以智能化推动个性化学习变革。
百度智能云一见视觉大模型平台全新升级！
文章概要：
1. 过去95%的视觉类需求未被满足，随着大模型时代到来，基于视觉智能的管理数字化迎来爆点。
2. 百度智能云一见视觉大模型平台是拳头产品，是让专业级视觉AI应用化
3. 大模型时代，视觉领域迎来ChatGPT时刻，如安全生产、餐饮连锁门店、车间等场景。
4. 大，视觉的管理数字化即将到来未来大型集团企业会建设自己的视觉智能基座。<> 5. 百度智能一见视觉大模型平台在多模态大模型领域取得重大进展推出全新的智能云一见视觉大模型平台v4.5。
6. 百度智能云一见视觉大具备7大核心优势，包括多模态大模型对模型生产成本的显著降低、端到端视觉AI应用调优自动化、零代码AI技能编排，灵活适配现场需求、丰富行业模型库和算法产线，支持第三方纳和迭代、云边协同、统一管控，拥有大量央国企最佳实践软硬、高效、智能助手——度安安。
7 百度云一见视觉大模型将以不屈不挠的决心和矢志不渝信念，继续深耕细作，不断突破技术壁垒，为更广泛行业客户与合作伙伴带来前所未有的便捷与高效。
阅读原文
2. 百度智能云一见视觉大模型平台是拳头产品，是让专业级视觉AI应用化
3. 大模型时代，视觉领域迎来ChatGPT时刻，如安全生产、餐饮连锁门店、车间等场景。
4. 大，视觉的管理数字化即将到来未来大型集团企业会建设自己的视觉智能基座。<> 5. 百度智能一见视觉大模型平台在多模态大模型领域取得重大进展推出全新的智能云一见视觉大模型平台v4.5。
6. 百度智能云一见视觉大具备7大核心优势，包括多模态大模型对模型生产成本的显著降低、端到端视觉AI应用调优自动化、零代码AI技能编排，灵活适配现场需求、丰富行业模型库和算法产线，支持第三方纳和迭代、云边协同、统一管控，拥有大量央国企最佳实践软硬、高效、智能助手——度安安。
7 百度云一见视觉大模型将以不屈不挠的决心和矢志不渝信念，继续深耕细作，不断突破技术壁垒，为更广泛行业客户与合作伙伴带来前所未有的便捷与高效。
马斯克，重磅宣布！
文章概要：
1. 特斯拉举办发布会，展示Robotaxi无人驾驶出租车等产品，无人驾驶竞争升温。
2. 百度“萝卜快跑”计划进军海外市场，即将发布Apollo开放平台10.0。
3. 交通运输部科学研究院副院长王先进表示，无人驾驶意义重大，应积极支持产业发展。
4 我国在无人驾驶领域有巨大发展优势，市场规模有望突破5万亿元br>5. 无人驾驶为城市经济发展注入新活力，新质生产力的典型代表
6. 中国国家创新与发展战略研究会副会长本富表示，我国无人驾驶企业应积极拥抱智能网联汽车。
阅读原文
2. 百度“萝卜快跑”计划进军海外市场，即将发布Apollo开放平台10.0。
3. 交通运输部科学研究院副院长王先进表示，无人驾驶意义重大，应积极支持产业发展。
4 我国在无人驾驶领域有巨大发展优势，市场规模有望突破5万亿元br>5. 无人驾驶为城市经济发展注入新活力，新质生产力的典型代表
6. 中国国家创新与发展战略研究会副会长本富表示，我国无人驾驶企业应积极拥抱智能网联汽车。
认识大模型
文章概要：
1. 大模型是人工智能领域的革新先锋，引领着技术变革，其影响力已超越范畴，预示着人工智能、科学探索乃至人类社会全面。
2. 大模型的诞生、发展与应用：大模型是一类基于深度学习架构、在数据上训练、能够处理多种任务的基础模型。
3. 大模型背后的关键技术：一是大模型底层的神经网络架构Transformer；二是基于自监督学习的预训练技术及扩展法则；三是后训练阶段的精调和对齐技术。
4. 大的突破点与创新方向：模型架构、预训练与后训练，既是大模型的关键所在，也是未来重点突破的方向。
5. 我国大模型技术的进展情况与发展路径：尽管我国在大模型技术方面初期存在一定滞后，但近一年来发展迅速，不仅在研究领域取得了显著成果，还在产业应用上展现出了强劲实力。
阅读原文
2. 大模型的诞生、发展与应用：大模型是一类基于深度学习架构、在数据上训练、能够处理多种任务的基础模型。
3. 大模型背后的关键技术：一是大模型底层的神经网络架构Transformer；二是基于自监督学习的预训练技术及扩展法则；三是后训练阶段的精调和对齐技术。
4. 大的突破点与创新方向：模型架构、预训练与后训练，既是大模型的关键所在，也是未来重点突破的方向。
5. 我国大模型技术的进展情况与发展路径：尽管我国在大模型技术方面初期存在一定滞后，但近一年来发展迅速，不仅在研究领域取得了显著成果，还在产业应用上展现出了强劲实力。
字节发布新研究：扩散视频模型DiT的规模缩放规律！大模型是否具备逻辑推理能力？ SAT 解决问题的理论与实验研究
文章概要：
1. 本文介绍了36篇论文，涵盖了大模型在各个领域的应用和研究进展，包括计算机视觉、自然语言处理、语音处理、多模态学习等。
2. 这些论文提出了新的方法和技术，如扩散Transformers(DiT)的规模缩放规律、奥林匹亚数学基准、多代理协同数据选择方法、MathCoder2、Transformer的逻辑推理能力、Hallo2、Packing Analysis、MACPO、Moyun、PLaMo-100B、MotionAura、渐进式自回归视频扩散模型、模型的循环再利用、自动专家迭代法、奖励增强数据、教学启发集成提示框架、大模型剪枝数据选择的最优性、简化ReFlow、DART、大模型在代码生成中的推理能力、Rewarding Progress、洞察胜于视觉、DICE、基于Masked Generative Prior的世界模型序列建模能力、基于结构感知的扩散模型多类别手术数据集合成、DA-Code、识别可追溯文本生成中的事实不一致、生成式图像模型的不可检测水印、PointOBB-v2、增强安全性的大模型微调框架SEAL、ACDC、RDT-1B、Rectified Diffusion、视觉砂纸板、CoPESD、LatteCLIP、GenARM、MRAG-Bench、基于多层次记忆的在文档级别的在线翻译代理DelTA、基于梯度神经的解释、LLM-to-LLM提示注入、基于LLM的多智能体系统优化、Scaling Up Your Kernels、Explaining Hypergraph Neural Networks、SPA、大型视觉语言模型的后训练、隐藏随机数生成与GEMM融合的dropout来降低Flash-Attention的成本、进化对比蒸馏用于语言模型对齐、从Web视频中学习生成多样化行人运动、开关稀疏自编码器的高效字典学习、当前语言模型是否支持R编程语言的代码智能、ToMiE、基于软LoRA和身份混合的SLIM、AgentBank、多角度反事实学习应用于内容质量评估、SAGE、MoE++、MMHead、MGMapNet、OneNet、综合在线训练与部署的脉冲神经网络、全秩不再、大模型在定性研究中的应用、HybridBooth、基于多智能体的新闻生成与反馈模拟系统、CrossQuant、BA-Net、揭示大模型编辑中的过拟合问题、Teddy、MKGL、评估大模型中的记忆、语言信息驱动的多语言指令微调、从对数几率到层次结构、GameTraversalBenchmark、IntrinsicVoice、语言引导的联合音频视频编辑、Mono-InternVL、HARIVO、Executing Arithmetic、无监督视觉基础下的新兴像素定位在大规模多模态模型中的应用、通用可动画高斯头像化身技术、NusaMT-7B、多语言能力提升的大模型的提取和迁移能力、News Reporter、领域专家模型的混合、RealVul、VerifierQ、CountMamba、规则学习实现世界对齐、SparseGrad、系统2推理、大模型推理的改进、MinorityPrompt、大内存块寄存器数组(BRAM)是限制吗、Efficiently Learning at Test-Time、条件重叠专家模型、无监督数据验证方法模型训练效率、人工智能生成内容在维基百科的兴起。
3. 这些论文通过实验和分析，验证了所提出的方法和技术的有效性和优越性，为大模型的发展和应用提供了有价值的参考和指导。
阅读原文
2. 这些论文提出了新的方法和技术，如扩散Transformers(DiT)的规模缩放规律、奥林匹亚数学基准、多代理协同数据选择方法、MathCoder2、Transformer的逻辑推理能力、Hallo2、Packing Analysis、MACPO、Moyun、PLaMo-100B、MotionAura、渐进式自回归视频扩散模型、模型的循环再利用、自动专家迭代法、奖励增强数据、教学启发集成提示框架、大模型剪枝数据选择的最优性、简化ReFlow、DART、大模型在代码生成中的推理能力、Rewarding Progress、洞察胜于视觉、DICE、基于Masked Generative Prior的世界模型序列建模能力、基于结构感知的扩散模型多类别手术数据集合成、DA-Code、识别可追溯文本生成中的事实不一致、生成式图像模型的不可检测水印、PointOBB-v2、增强安全性的大模型微调框架SEAL、ACDC、RDT-1B、Rectified Diffusion、视觉砂纸板、CoPESD、LatteCLIP、GenARM、MRAG-Bench、基于多层次记忆的在文档级别的在线翻译代理DelTA、基于梯度神经的解释、LLM-to-LLM提示注入、基于LLM的多智能体系统优化、Scaling Up Your Kernels、Explaining Hypergraph Neural Networks、SPA、大型视觉语言模型的后训练、隐藏随机数生成与GEMM融合的dropout来降低Flash-Attention的成本、进化对比蒸馏用于语言模型对齐、从Web视频中学习生成多样化行人运动、开关稀疏自编码器的高效字典学习、当前语言模型是否支持R编程语言的代码智能、ToMiE、基于软LoRA和身份混合的SLIM、AgentBank、多角度反事实学习应用于内容质量评估、SAGE、MoE++、MMHead、MGMapNet、OneNet、综合在线训练与部署的脉冲神经网络、全秩不再、大模型在定性研究中的应用、HybridBooth、基于多智能体的新闻生成与反馈模拟系统、CrossQuant、BA-Net、揭示大模型编辑中的过拟合问题、Teddy、MKGL、评估大模型中的记忆、语言信息驱动的多语言指令微调、从对数几率到层次结构、GameTraversalBenchmark、IntrinsicVoice、语言引导的联合音频视频编辑、Mono-InternVL、HARIVO、Executing Arithmetic、无监督视觉基础下的新兴像素定位在大规模多模态模型中的应用、通用可动画高斯头像化身技术、NusaMT-7B、多语言能力提升的大模型的提取和迁移能力、News Reporter、领域专家模型的混合、RealVul、VerifierQ、CountMamba、规则学习实现世界对齐、SparseGrad、系统2推理、大模型推理的改进、MinorityPrompt、大内存块寄存器数组(BRAM)是限制吗、Efficiently Learning at Test-Time、条件重叠专家模型、无监督数据验证方法模型训练效率、人工智能生成内容在维基百科的兴起。
3. 这些论文通过实验和分析，验证了所提出的方法和技术的有效性和优越性，为大模型的发展和应用提供了有价值的参考和指导。
数字化转型新标杆！“川隧大模型”挂牌上市
文章概要：
1. 川交隧道公司自主研发的“川隧大模型”在上海数据交易所挂牌上市，这是公司在数据资产化上的重要成果，也为行业数字化转型树立了标杆。
2. “川隧大模型是川交公司钉钉联合打造的数字化办公平台——“川隧钉”的核心，该模型以公路工程建设为核心，融合物联网、大数据、AI等尖端科技，实现了用数据指导施工，用数据管理项目。
3. “川隧大模型”已获得多项专利四川省内已有多个基建项目使用，证明了其在提升工程效率资源配置、保障施工安全与质量方面的价值。
4. “川隧大模型以工程实际需求导向，创新性地运用大数据分析与人工智能技术，了从数据海洋中提取“真知灼见。
5. “川隧大模型”以隧道开挖进度管理为亮点，精准计算与预测，指导现场施工减少等待与衔接时间提升管理效率。
6. “川隧模型”的成功挂牌及入表，标志着川交隧道公司在资产化道路取得了重大突破，显化了企业数据资源的经济价值提升了公司的竞争力。
阅读原文
2. “川隧大模型是川交公司钉钉联合打造的数字化办公平台——“川隧钉”的核心，该模型以公路工程建设为核心，融合物联网、大数据、AI等尖端科技，实现了用数据指导施工，用数据管理项目。
3. “川隧大模型”已获得多项专利四川省内已有多个基建项目使用，证明了其在提升工程效率资源配置、保障施工安全与质量方面的价值。
4. “川隧大模型以工程实际需求导向，创新性地运用大数据分析与人工智能技术，了从数据海洋中提取“真知灼见。
5. “川隧大模型”以隧道开挖进度管理为亮点，精准计算与预测，指导现场施工减少等待与衔接时间提升管理效率。
6. “川隧模型”的成功挂牌及入表，标志着川交隧道公司在资产化道路取得了重大突破，显化了企业数据资源的经济价值提升了公司的竞争力。
媲美GPT-4o的王炸模型，这家创业公司做出来了
文章概要：
1. 无界方舟推出媲美GPT-4o的王炸模型，垂直深耕AI陪伴领域。
2. 无界方舟大模型的产品应用效果已十分惊艳，其更新至2.0版本后，拥有了更强大的能力，如极低延迟+音视频多模态+情绪表达+多语言+驱动软硬件等综合能力。
3. 无界方舟大模型在多项多模态评测中，均超越GPT-4o等业界知名模型，具备300毫秒超低延迟反馈、音视频多模态互动、丰富的情绪系统、多语言能力、可以驱动虚拟形象和实体硬件的动作等显著优势。
4. 无界方舟大模型已对外开放合作，主要应用场景聚焦在教育互动、智能玩偶、车企陪伴、具身智能、文旅展示等，针对儿童、银发族、学生白领等用户群体都有着不同的解决方案。
阅读原文
2. 无界方舟大模型的产品应用效果已十分惊艳，其更新至2.0版本后，拥有了更强大的能力，如极低延迟+音视频多模态+情绪表达+多语言+驱动软硬件等综合能力。
3. 无界方舟大模型在多项多模态评测中，均超越GPT-4o等业界知名模型，具备300毫秒超低延迟反馈、音视频多模态互动、丰富的情绪系统、多语言能力、可以驱动虚拟形象和实体硬件的动作等显著优势。
4. 无界方舟大模型已对外开放合作，主要应用场景聚焦在教育互动、智能玩偶、车企陪伴、具身智能、文旅展示等，针对儿童、银发族、学生白领等用户群体都有着不同的解决方案。
零犀“基于因果大模型的保险个人助理”入选科协“AI大模型应用场景”优秀案例
文章概要：
1. 零犀基于因果大保险个人助理”入选科协“AI大模型应用场景”优秀案例
2. 该活动由中国科协企业创新服务中心、北京经济技术开发区管理委员会主办，中关村产业技术联合会、中国工业协会数据中心委员会等单位协办，旨在促进产业界、学术界与研究机构间的深度合作
3. 零犀科技凭借其“基于因果大模型的保险个人助理”方案脱颖而出，成功入选为优秀案例之一
4. 近年来，基于Transformer架构的大语言模型自然语言处理（NLP）领域取得了显著，不仅在学术研究中得到广泛验证，还在实际应用中展现出卓越性能
5. 零犀科技结合多年在AI探索与金融领域实践经验行业知识、用户需求和因果推理能力，成功地将行业经验转化为机器可理解的因果化知识
6. 零犀科技基于因果大模型为保险机构打造面向个人用户的保险助理，通过精细化的用户行为分析与量化，深化对用户的，不同用户的情境和偏好，提供定制化的服务策略，增强用户体验和满意度
7. 零犀科技目前已实现通过因果大单个保险公司每月创造2亿至3亿元人民币的保费收入，显著提升了保险机构服务质量和销售效果
阅读原文
2. 该活动由中国科协企业创新服务中心、北京经济技术开发区管理委员会主办，中关村产业技术联合会、中国工业协会数据中心委员会等单位协办，旨在促进产业界、学术界与研究机构间的深度合作
3. 零犀科技凭借其“基于因果大模型的保险个人助理”方案脱颖而出，成功入选为优秀案例之一
4. 近年来，基于Transformer架构的大语言模型自然语言处理（NLP）领域取得了显著，不仅在学术研究中得到广泛验证，还在实际应用中展现出卓越性能
5. 零犀科技结合多年在AI探索与金融领域实践经验行业知识、用户需求和因果推理能力，成功地将行业经验转化为机器可理解的因果化知识
6. 零犀科技基于因果大模型为保险机构打造面向个人用户的保险助理，通过精细化的用户行为分析与量化，深化对用户的，不同用户的情境和偏好，提供定制化的服务策略，增强用户体验和满意度
7. 零犀科技目前已实现通过因果大单个保险公司每月创造2亿至3亿元人民币的保费收入，显著提升了保险机构服务质量和销售效果
数字化与智能化驱动制造业变革：AI大模型的力量
文章概要：
1. 数字化和智能化成为推动制造业变革的关键力量，AI大模型极大地提升生产，并促进了制造业的转型升级>2. 大模型赋能的核心方式与产品形态包括直接赋能行业、场景化定制、任务化定制，产品形态大模型API调用或软件解决方案、成熟工业产品叠加基础模型能力、AI工具作为外部插件、用于私有部署的集成解决方案
3. AI大大量高质量的数据进行训练，在处理新颖问题时可能无法提供最佳的解决方案，其解释性和透明度也是一个挑战，更适用于宏观场景、具有丰富语料库和明确问题的情况，深度语言交互、创意生成、综合分析与预测以及多模态数据处理等能力
4. AI大模型在制造业的应用已经取得了显著的成果，金风科技构建了风电行业的大语言模型，绿能嘉兴基地利用AI大模型进行生产过程中的缺陷检测，美的厨热洗碗机工厂基于多模态大模型开发生产合规视频检测技术
阅读原文
3. AI大大量高质量的数据进行训练，在处理新颖问题时可能无法提供最佳的解决方案，其解释性和透明度也是一个挑战，更适用于宏观场景、具有丰富语料库和明确问题的情况，深度语言交互、创意生成、综合分析与预测以及多模态数据处理等能力
4. AI大模型在制造业的应用已经取得了显著的成果，金风科技构建了风电行业的大语言模型，绿能嘉兴基地利用AI大模型进行生产过程中的缺陷检测，美的厨热洗碗机工厂基于多模态大模型开发生产合规视频检测技术
AI大模型再度升温：最新市场格局与未来破局之道
文章概要：
1 自2022年ChatGPT引领全球AI浪潮以来，AI大模型赛道的竞争进入了白热化阶段。
2. 小智将从最新的市场态势入手，全面解读当前大模型格局，并深入未来各大玩家如何在激烈的竞争中突出重围，构建独有的竞争优势。< 3. 国内创业玩家格局：自20Chat后，的AI大模型创业公司如雨后春笋般涌现
4. 国内巨头玩家格局国内互联网巨头公司，如百度、腾讯和阿里巴巴在AI大模型领域中扮演了重要角色。
5玩家格局：全球范围内的OpenAI、Anthropic和DeepMind等公司是大模型领域者
6. 竞速新阶段的：技术创新的压力、算力与数据成本的压力、落地的复杂性。
7. 如何重围专注垂直领域技术、端侧与云端协同，创新硬件结合跨界，推动应用创新。
8. 后续壁垒与优势：算力、数据壁垒、生态壁垒。
阅读原文
2. 小智将从最新的市场态势入手，全面解读当前大模型格局，并深入未来各大玩家如何在激烈的竞争中突出重围，构建独有的竞争优势。< 3. 国内创业玩家格局：自20Chat后，的AI大模型创业公司如雨后春笋般涌现
4. 国内巨头玩家格局国内互联网巨头公司，如百度、腾讯和阿里巴巴在AI大模型领域中扮演了重要角色。
5玩家格局：全球范围内的OpenAI、Anthropic和DeepMind等公司是大模型领域者
6. 竞速新阶段的：技术创新的压力、算力与数据成本的压力、落地的复杂性。
7. 如何重围专注垂直领域技术、端侧与云端协同，创新硬件结合跨界，推动应用创新。
8. 后续壁垒与优势：算力、数据壁垒、生态壁垒。
论文导读 | 大模型幻觉的检测与消除
文章概要：
1. 大语言模型（LLM）在许多下游任务上展现了杰出的性能，然而其中潜藏的幻觉问题仍然不能被忽视。
2. 本文从分类器、不确定性度量、的评价能力三个方向来介绍一些相关工作。
3. 对于未来的研究方向，在训练中可以通过知识图谱等可信知识源批量生成高质量数据，以及设计相关算法排除低质、有害的数据，防止幻觉通过训练引入大模型。在推理过程中则应当研究更为鲁棒的推理机制，在检索生成、思维链、辅助代码等基础上提出更为复杂的融合策略，提升大模型的可信度。
阅读原文
2. 本文从分类器、不确定性度量、的评价能力三个方向来介绍一些相关工作。
3. 对于未来的研究方向，在训练中可以通过知识图谱等可信知识源批量生成高质量数据，以及设计相关算法排除低质、有害的数据，防止幻觉通过训练引入大模型。在推理过程中则应当研究更为鲁棒的推理机制，在检索生成、思维链、辅助代码等基础上提出更为复杂的融合策略，提升大模型的可信度。
EAGLE：提升多模态大模型视觉提示理解的新型模型
文章概要：
1. EAGLE新型的模态大型语言模型（MLLM），旨在提升对任意形状和格式的参考视觉提示的理解能力。
2. 该模型通过一种创新的几何敏感学习（Geometry-Agnostic Learning，GAL）范式，将多样化的参考视觉提示统一转换为视觉点提示，从而简化了模型在处理不同提示时的复杂性。
3. EAG在训练时，将不同格式的参考视觉以彩色补丁的形式直接渲染到图像上，保留了提示的原始格式，同时利用模型本身的区域级别理解能力来编码区域特征，避免了传统方法对专门特征编码模块依赖。br>4. EAGLE的特点在于其高效的训练过程和出色的泛化能力。它不需要额外的区域编码模块，也了训练所需努力。此外，EAGLE在处理真实场景中用户可能绘制的不规则形状的参考视觉提示时，了强大的棒性。
5. 通过将这些提示转换为统一格式的点提示，EAG能够更加专注于识别和理解图像中的主要对象而不是被提示的或格式所干扰能力使得EAG在多样化的视觉提示识别任务中具有显著的。
阅读原文
2. 该模型通过一种创新的几何敏感学习（Geometry-Agnostic Learning，GAL）范式，将多样化的参考视觉提示统一转换为视觉点提示，从而简化了模型在处理不同提示时的复杂性。
3. EAG在训练时，将不同格式的参考视觉以彩色补丁的形式直接渲染到图像上，保留了提示的原始格式，同时利用模型本身的区域级别理解能力来编码区域特征，避免了传统方法对专门特征编码模块依赖。br>4. EAGLE的特点在于其高效的训练过程和出色的泛化能力。它不需要额外的区域编码模块，也了训练所需努力。此外，EAGLE在处理真实场景中用户可能绘制的不规则形状的参考视觉提示时，了强大的棒性。
5. 通过将这些提示转换为统一格式的点提示，EAG能够更加专注于识别和理解图像中的主要对象而不是被提示的或格式所干扰能力使得EAG在多样化的视觉提示识别任务中具有显著的。
基于通用算力的网络大模型推理实践
文章概要：
1. 大模型在电信网络运维中发挥作用，可自动找“病根”并提供诊断结果，还能处理专业知识问答等。它的推理输出结果涵盖多场景，提供精准、个性化答案，生成速度快，已在实际应用中获认可并获“华彩杯”算力大赛一等奖。
2. 中国电信选择用CPU做网络大模型推理，因其可降低成本、提高稳定性，且现有运维团队熟悉。网络大模型在不同场景中性能表现良好，推理速度快，中国电信采用OTII服务器满足边侧即时响应需求。
具体到CPU产品选型，“网络”大模型方案使用第五代英特尔至强可扩展处理器，其配备更多内核、更强单核性能和更大三级缓存，还内置多个AI加速引擎。软件方面引入英特尔AI工具，实现主流AI开发框架的全面兼容。此外，该方案还显著降低了能耗成本。
4. 中国电信选用符合OTII标准的边缘服务器，该标准由英特尔等制定，满足边缘场景要求。中国电信和英特尔的合作模式为大模型在更多场景应用打造了标杆，并发布白皮书。未来大模型需在多方面实现最佳平衡。
阅读原文
2. 中国电信选择用CPU做网络大模型推理，因其可降低成本、提高稳定性，且现有运维团队熟悉。网络大模型在不同场景中性能表现良好，推理速度快，中国电信采用OTII服务器满足边侧即时响应需求。
具体到CPU产品选型，“网络”大模型方案使用第五代英特尔至强可扩展处理器，其配备更多内核、更强单核性能和更大三级缓存，还内置多个AI加速引擎。软件方面引入英特尔AI工具，实现主流AI开发框架的全面兼容。此外，该方案还显著降低了能耗成本。
4. 中国电信选用符合OTII标准的边缘服务器，该标准由英特尔等制定，满足边缘场景要求。中国电信和英特尔的合作模式为大模型在更多场景应用打造了标杆，并发布白皮书。未来大模型需在多方面实现最佳平衡。
英特尔® 至强® 可扩展处理器助力天源迪科推动大语言模型业务创新
文章概要：
1. 大模型成为数智化转型的重要技术力量，天源迪科采用基于英特尔^{®}至强^{®}可扩展处理器的LLM训推一体化方案，结合多种软件优化措施，在多种LLM模型微调、推理任务中表现出色，该方案在经济性、灵活性方面表现出色，为扩展AI目标提供了坚实的基础。
2. 大模型技术取得重大突破，天源迪科面临着算力及成本挑战，需要满足LLM微调及推理对于算力、内存规模、内存带宽的需求，实现便捷扩展。
3. 天源迪科与英特尔紧密合作，构建了基于英特尔^{®}至强^{®}可扩展处理器的训练与推理一体化方案，该方案具备高性能、高性价比、高灵活性的优势，能够满足天源迪科构建轻量级大模型微调与推理系统的需求，还能用于支持其他通用业务。
4. 天源迪科在营销、客服、采购供应链、风控、运营运维等领域形成产品化，并且赋能到通信行业、金融行业、央国企、政府等客户。
5. 天源迪科选择了Qwen1.5-14B-chat和Qwen1.5-32B-chat作为推理模型，Qwen1.5-7B-chat作为微调模型，在分析后认为，LLM算力基础设施在1024input tokens场景下，需要满足以下推理指标，才能充分满足实际应用所需。
6. 天源迪科推出了基于第四代英特尔^{®}至强^{®}可扩展处理器的训练与推理一体化方案，该方案通过创新架构增加了每个时钟周期的指令，每个插槽多达60个核心，支持8通道DDR5内存，有效提升了内存带宽与速度，并通过PCIe 5.0（80个通道）实现了更高的PCIe带宽提升。
7. 第四代英特尔^{®}至强^{®}可扩展处理器还内置了创新的英特尔^{®}X加速引擎，针对广泛的硬件和软件优化，通过提供矩阵类型的运算，显著增加了人工智能应用程序的每时钟指令数(IPC)，可为AI工作负载中的训练和推理提供显著的性能提升。
8. 第四代英特尔^{®}至强^{®}可扩展处理器支持主流机器学习和深度学习框架，如TensorFlow、PyTorch等，并利用英特尔^{®}oneAPI Deep Neutral Network Library(oneDNN)来进一步优化性能。
9. 英特尔还推出了针对大规模语言模型的推理和微调加速方案，以支持大语言模型微调及推理业务场景。
10. 天源迪科进行了测试，在测试中，一体机中的四颗英特尔^{®}至强^{®}金牌6448H处理器采用UPI全拓扑连接方式，张量并行推理方案下等同于有效地扩展了内存带宽。
11. 基于^{®}至强^{®}可扩展处理器的LLM训推一体化方案为天源迪科大语言模型任务带来了显著的收益，包括满足中小规模模型的微调及推理算力需求、更高的适用性与扩展性、更高的性价比与投资回报。
12. 英特尔正在构建包括数据中心AI系统、AI PC在内的端到端AI解决方案，加速工作负载，并通过一系列开放、多架构的软件工具来简化AI工作流程，促进AI技术的广泛普及，支持行业全面解锁大模型等AI应用的价值。
13. 英特尔将与天源迪科进行密切合作，一方面持续挖掘基于英特尔^{®}至强^{®}可扩展处理器的训推一体机在模型微调、推理等方面潜力，为大模型应用赋能；探索采用多元算力芯片的广泛解决方案，满足更多场景中，用户对于模型训练、模型推理等应用的需求，推动AI应用的普及。
阅读原文
2. 大模型技术取得重大突破，天源迪科面临着算力及成本挑战，需要满足LLM微调及推理对于算力、内存规模、内存带宽的需求，实现便捷扩展。
3. 天源迪科与英特尔紧密合作，构建了基于英特尔^{®}至强^{®}可扩展处理器的训练与推理一体化方案，该方案具备高性能、高性价比、高灵活性的优势，能够满足天源迪科构建轻量级大模型微调与推理系统的需求，还能用于支持其他通用业务。
4. 天源迪科在营销、客服、采购供应链、风控、运营运维等领域形成产品化，并且赋能到通信行业、金融行业、央国企、政府等客户。
5. 天源迪科选择了Qwen1.5-14B-chat和Qwen1.5-32B-chat作为推理模型，Qwen1.5-7B-chat作为微调模型，在分析后认为，LLM算力基础设施在1024input tokens场景下，需要满足以下推理指标，才能充分满足实际应用所需。
6. 天源迪科推出了基于第四代英特尔^{®}至强^{®}可扩展处理器的训练与推理一体化方案，该方案通过创新架构增加了每个时钟周期的指令，每个插槽多达60个核心，支持8通道DDR5内存，有效提升了内存带宽与速度，并通过PCIe 5.0（80个通道）实现了更高的PCIe带宽提升。
7. 第四代英特尔^{®}至强^{®}可扩展处理器还内置了创新的英特尔^{®}X加速引擎，针对广泛的硬件和软件优化，通过提供矩阵类型的运算，显著增加了人工智能应用程序的每时钟指令数(IPC)，可为AI工作负载中的训练和推理提供显著的性能提升。
8. 第四代英特尔^{®}至强^{®}可扩展处理器支持主流机器学习和深度学习框架，如TensorFlow、PyTorch等，并利用英特尔^{®}oneAPI Deep Neutral Network Library(oneDNN)来进一步优化性能。
9. 英特尔还推出了针对大规模语言模型的推理和微调加速方案，以支持大语言模型微调及推理业务场景。
10. 天源迪科进行了测试，在测试中，一体机中的四颗英特尔^{®}至强^{®}金牌6448H处理器采用UPI全拓扑连接方式，张量并行推理方案下等同于有效地扩展了内存带宽。
11. 基于^{®}至强^{®}可扩展处理器的LLM训推一体化方案为天源迪科大语言模型任务带来了显著的收益，包括满足中小规模模型的微调及推理算力需求、更高的适用性与扩展性、更高的性价比与投资回报。
12. 英特尔正在构建包括数据中心AI系统、AI PC在内的端到端AI解决方案，加速工作负载，并通过一系列开放、多架构的软件工具来简化AI工作流程，促进AI技术的广泛普及，支持行业全面解锁大模型等AI应用的价值。
13. 英特尔将与天源迪科进行密切合作，一方面持续挖掘基于英特尔^{®}至强^{®}可扩展处理器的训推一体机在模型微调、推理等方面潜力，为大模型应用赋能；探索采用多元算力芯片的广泛解决方案，满足更多场景中，用户对于模型训练、模型推理等应用的需求，推动AI应用的普及。
AIR快讯｜ AIR携手字节跳动成立可扩展大模型智能技术联合研究中心
文章概要：
1 清华大学智能产业研究院（AIR）-字节跳动成立可扩展大技术联合研究中心（ Lab），中心聚焦预训练大语言模型技术，发展更为通用与可的智能系统
2. 中国工程院院士、清华大学讲、AIR院长张勤，清华大学科研院院长刘奕群，惠妍讲席教授、AIR首席科学家维英，万国数据教授、AIR执行院长刘洋，跳动豆包M团队负责人乔木，跳动科研战略与学术合作负责人金小伟等嘉宾出席了签约仪式
3. AIR副教授周浩任中心主任，豆包大模型LLM团队研究员王明轩任联合主任。
4 张亚勤对双方合作寄予期望，能够发挥双方的优势，推动AI大模型技术的发展。
5. 刘奕群院长对联合中心的成立表示，联合中心携手将前沿智能技术到产业解决方案中，智能技术的社会效益。
6. 乔木强调了此次的重要性双方能充分发挥各自优势，一起努力做有价值有研究。
7. 签约仪式后，进行了深入的技术交流探讨了未来合作的多种可能性。
. 未来，思雅实验室将在务实进行基础研究基础上沙龙、研讨会等方式促进国内学术界与产业界的更多交流人工智能领域的开放研究合作，助力领域技术的持续进步。
阅读原文
2. 中国工程院院士、清华大学讲、AIR院长张勤，清华大学科研院院长刘奕群，惠妍讲席教授、AIR首席科学家维英，万国数据教授、AIR执行院长刘洋，跳动豆包M团队负责人乔木，跳动科研战略与学术合作负责人金小伟等嘉宾出席了签约仪式
3. AIR副教授周浩任中心主任，豆包大模型LLM团队研究员王明轩任联合主任。
4 张亚勤对双方合作寄予期望，能够发挥双方的优势，推动AI大模型技术的发展。
5. 刘奕群院长对联合中心的成立表示，联合中心携手将前沿智能技术到产业解决方案中，智能技术的社会效益。
6. 乔木强调了此次的重要性双方能充分发挥各自优势，一起努力做有价值有研究。
7. 签约仪式后，进行了深入的技术交流探讨了未来合作的多种可能性。
. 未来，思雅实验室将在务实进行基础研究基础上沙龙、研讨会等方式促进国内学术界与产业界的更多交流人工智能领域的开放研究合作，助力领域技术的持续进步。
北京师范大学联手好未来发布北京市首个基础教育大模型平台
文章概要：
1 近日，北京市科委、中关村发布首批北京人工智能应用场景联合研发平台，涵盖、等重点行业
2. 基础教育北京人工智能场景应用平台由北京市教委指导，北京师范大学、好建设旨在搭建基础教育领域的教育大模型。
3. 该平台将重点突破多模态基础教育大模型评测方法技术，研发相关技术规范、评测平台、基座大模型应用解决方案。>4. 平台将在中小学进行应用示范，支撑北京教育领域大模型测试场，产业生态建设和发展，提升基础教育行业智能化水平。
阅读原文
2. 基础教育北京人工智能场景应用平台由北京市教委指导，北京师范大学、好建设旨在搭建基础教育领域的教育大模型。
3. 该平台将重点突破多模态基础教育大模型评测方法技术，研发相关技术规范、评测平台、基座大模型应用解决方案。>4. 平台将在中小学进行应用示范，支撑北京教育领域大模型测试场，产业生态建设和发展，提升基础教育行业智能化水平。
字节跳动与清华 AIR 成立联合研究中心，推动大模型产学研合作
文章概要：
1 10月11日，清华大学产业研究院（AIR） 字节跳动 “可扩展大模型智能技术联合研究IA Lab” 在清华大学举行成立仪式。
2. SIA Lab聚焦预训练大语言模型技术，致力于发展更为通用与可扩展的智能系统，提升智能技术在互联网以及更多场景、更复杂任务中表现能力。
3. 近年来人工智能呈爆发式发展，预训练大语言模型（Pre-trained Language Model）已经迈向通用智能的重要发展路线之一。全球科技公司与研究机构正在投入大量资源研究预训练大模型，跳动组建豆包团队，在相关领域持续研究与投入，开发业界先进的 AI 大模型技术，成为世界一流的研究团队。双方联合成立的 SIA Lab 旨在通过有效的产学研合作，实现大模型底层技术突破与产业应用构建。
4. 在签约仪式后进行了深入的技术交流，并探讨了未来合作的多种可能性。SIA Lab 将务实地聚焦于基础技术研究，配合沙龙、研讨会等方式，促进国内学术界与产业界的更多交流，推动人工智能领域的开放研究合作，助力相关技术的持续进步
阅读原文
2. SIA Lab聚焦预训练大语言模型技术，致力于发展更为通用与可扩展的智能系统，提升智能技术在互联网以及更多场景、更复杂任务中表现能力。
3. 近年来人工智能呈爆发式发展，预训练大语言模型（Pre-trained Language Model）已经迈向通用智能的重要发展路线之一。全球科技公司与研究机构正在投入大量资源研究预训练大模型，跳动组建豆包团队，在相关领域持续研究与投入，开发业界先进的 AI 大模型技术，成为世界一流的研究团队。双方联合成立的 SIA Lab 旨在通过有效的产学研合作，实现大模型底层技术突破与产业应用构建。
4. 在签约仪式后进行了深入的技术交流，并探讨了未来合作的多种可能性。SIA Lab 将务实地聚焦于基础技术研究，配合沙龙、研讨会等方式，促进国内学术界与产业界的更多交流，推动人工智能领域的开放研究合作，助力相关技术的持续进步
大模型「六小虎」里，至少两家要放弃大模型了
文章概要：
1. 2024年，被称为“AI六小虎”的6家中国大模型独角兽中，已经有转向AI应用
2. 预训练模型是决定模型性能关键的阶段，也是模型厂商最核心的技术壁垒
3. 对于AI行业而言，随着第三方预训练模型的性能提高，应用层企业逐步放弃预训练模型，专注于让模型更懂用户的“后训练（post-train）”环节，是节省算力成本考量下的正常趋势5. 放弃预训练也不算全然消极的信号。在资金、算力紧缺的当下，现有的大模型厂商，也开始对自身的能力和资源现状，进行了重新评估
6. 从模型转向应用，意味着在追赶AGI之前，AI公司先选择了活下去
钱不够烧了，模型和产品二保一
8. 大模型公司，困在变现焦虑
9. 放弃预训练的模型厂商，抓住的是尚有盈利潜力的AI应用
10. 对于整个AI行业而言，放弃预训练模型，并不是一个消极的信号
阅读原文
2. 预训练模型是决定模型性能关键的阶段，也是模型厂商最核心的技术壁垒
3. 对于AI行业而言，随着第三方预训练模型的性能提高，应用层企业逐步放弃预训练模型，专注于让模型更懂用户的“后训练（post-train）”环节，是节省算力成本考量下的正常趋势
6. 从模型转向应用，意味着在追赶AGI之前，AI公司先选择了活下去
钱不够烧了，模型和产品二保一
8. 大模型公司，困在变现焦虑
9. 放弃预训练的模型厂商，抓住的是尚有盈利潜力的AI应用
10. 对于整个AI行业而言，放弃预训练模型，并不是一个消极的信号
AI大模型专刊——09月
文章概要：
1. 谷歌推出DataGemma，基于可信数据源帮助提高AI准确度
2. OpenAI发布经过改进> 3. Uniphore推出X-Stream，将多模态数据转换为知识并提供服务
4. 对标GPT-4o的实时语音模型Moshi开源
5. Meta推出L适边缘和移动设备的AI模型
6. Letta公司宣布推出与公司同名的AI上下文内存管理平台Letta
7. 艾伦人工智能研究所Ai2推出开源大模型Molmo
8. 理光通过模型合并开发出具有相当于GPT-4性能的700亿参数日语LLM人工智能对话 麻省理工的衍生公司Liquid首次非transformer AI模型LFM
10. 本月AI大模型投资与并购综述
11. MemSAM：视频分割的任何模型
12. DWJS：蛋白质发现-离散「步行-跳跃」采样
13. GxVAEs：两个联合变分自编码器从基因表达> 1. 利用间接调查预测时间趋势
15. 利用多模态学习和测试时临床知识增强的样本心电图分类
16. 释放医学多模式预训练中时空信息的力量
17. VSGT：变分空间和高斯时间图模型在基于EEG的情绪识别中的应用
18. MDNet：基于多模态生理信号的跨个体情绪识别的多级解耦网络
19. DBPNet:用于听觉注意力检测的时频融合双分支并行网络
20. ATTA：用于基于多模态睡眠阶段分类的多模态方法
阅读原文
2. OpenAI发布经过改进> 3. Uniphore推出X-Stream，将多模态数据转换为知识并提供服务
4. 对标GPT-4o的实时语音模型Moshi开源
5. Meta推出L适边缘和移动设备的AI模型
6. Letta公司宣布推出与公司同名的AI上下文内存管理平台Letta
7. 艾伦人工智能研究所Ai2推出开源大模型Molmo
8. 理光通过模型合并开发出具有相当于GPT-4性能的700亿参数日语LLM人工智能对话 麻省理工的衍生公司Liquid首次非transformer AI模型LFM
10. 本月AI大模型投资与并购综述
11. MemSAM：视频分割的任何模型
12. DWJS：蛋白质发现-离散「步行-跳跃」采样
13. GxVAEs：两个联合变分自编码器从基因表达> 1. 利用间接调查预测时间趋势
15. 利用多模态学习和测试时临床知识增强的样本心电图分类
16. 释放医学多模式预训练中时空信息的力量
17. VSGT：变分空间和高斯时间图模型在基于EEG的情绪识别中的应用
18. MDNet：基于多模态生理信号的跨个体情绪识别的多级解耦网络
19. DBPNet:用于听觉注意力检测的时频融合双分支并行网络
20. ATTA：用于基于多模态睡眠阶段分类的多模态方法
13家热门Web大模型内容风险评测，短板竟然隐藏在这里！
文章概要：
1. 我国正以前所未有的速度拥抱AI技术革命，但认知域的隐秘挑战也愈发凸显，国内儿童智能手表与学习机频繁爆出风险回答，未成年人亦难逃魔爪。
2. 部分内容不仅了社会主义核心价值观和道德规范，更触及了社会伦理的底线，阻塞了未成年人正确价值观的形成，从而引发了社会的广泛关注和深切焦虑。
3. 由“奶奶漏洞”安全缺陷引发的大型语言模型失控事件，不仅揭示了技术层面的薄弱环节，也促使业界开始深刻反思AI技术的安全界限。
4. 在全球范围内，诸如三星员工因使用ChatGPT不当而泄露芯片机密代码的事件，以及韩国新版“N号房”和“AI换脸”侵犯个人隐私的恶劣案例，进一步向全社会敲响了警钟：在AI技术的广泛应用中，信息泄露、隐私侵犯、内容安全等风险潜藏于各个角落，且可能采取更为隐蔽和复杂的形式，对社会安全与稳定构成威胁。6. 国内Web大模型厂商信息：本次评测中的模型选取了国内有代表性的13个Web开放大模型【截至9月24日版本】。
7. 评测结果：在本次评测中，知道创宇对我国13家面向C端用户的Web大模型的内容合规能力进行了全面考察，涵盖了5个关键维度「代码生成风险」、「涉密信息保护」、「未成年人相关」、「隐私信息保护」，旨在通过全面评估，确保内容正确、健康、合法、正向。
8. 评测结果：在满分3000分的情况下，大模型的得分如未触及满分标准，或综合准确率未达到100%，即代表有优化空间。
9. 位居领先位置的第一梯队的三大模型「豆包、Kimi、海螺AI」，凭借均衡表现，具备显著的强项突出和相对较少的短板，其综合评分均高于或等于2700分，准确率达到90%及以上；紧随其后的第二梯队由四大模型「元宝、智脑、文心一言、商量」构成，综合评分均高于2500分，准确率达到85%以上，表现上尽管没有明显的强项，但短板也并不显著；综合评分低于2500分以下的大模型6个「万知、智谱清言、讯飞星火、通义千问、百小应、天工AI」，此次都定义为第三梯队，亟需尽快识别并补齐自身短板，确保符合监管合规的标准。
10. 「代码生成风险」结果：在本轮四大评测维度中表现最差，平均准确率只达到了66.9%。这表明在当前Web大模型的应用场景中，代码生成功能的安全性和合规性存在显著隐患。
11. 「涉密信息保护」结果：在本轮四大评测维度中表现也不尽如人意，平均准确率排名倒数第二，只达到了70.2%，揭示了当前Web大模型在涉密信息的处理上仍比较薄弱。
12. 「未成年人相关」结果：在本次评测深入聚焦于国家立场与常识相关的内容，其中国家立场占比40%，相关占比32%，而暴恐、不良价值观、谩骂、色情、违法违规等虽也涵盖在内，但总占比仅为28%。值得注意的是，所有参与评测的大模型在准确率方面均达到了92%以上的水平，这充分证明了大模型在通用内容安全领域因高度重视而展现出的更优表现。
13. 「隐私信息保护」结果：在本次评测中，10家大模型在「隐私信息保护」方面均以满分100分的优异成绩，提交了一份令人满意的答卷。而其余3个模型虽然略有失分，只需针对失分点迅速进行数据训练，以弥补其短板。
14. 评测总结：代码生成风险与涉密信息保护成大模型热门风险，任重而道远。
15. 评测总结：强项亮眼却陷短板困境，全面均衡成大模型的制胜关键！
阅读原文
2. 部分内容不仅了社会主义核心价值观和道德规范，更触及了社会伦理的底线，阻塞了未成年人正确价值观的形成，从而引发了社会的广泛关注和深切焦虑。
3. 由“奶奶漏洞”安全缺陷引发的大型语言模型失控事件，不仅揭示了技术层面的薄弱环节，也促使业界开始深刻反思AI技术的安全界限。
4. 在全球范围内，诸如三星员工因使用ChatGPT不当而泄露芯片机密代码的事件，以及韩国新版“N号房”和“AI换脸”侵犯个人隐私的恶劣案例，进一步向全社会敲响了警钟：在AI技术的广泛应用中，信息泄露、隐私侵犯、内容安全等风险潜藏于各个角落，且可能采取更为隐蔽和复杂的形式，对社会安全与稳定构成威胁。
7. 评测结果：在本次评测中，知道创宇对我国13家面向C端用户的Web大模型的内容合规能力进行了全面考察，涵盖了5个关键维度「代码生成风险」、「涉密信息保护」、「未成年人相关」、「隐私信息保护」，旨在通过全面评估，确保内容正确、健康、合法、正向。
8. 评测结果：在满分3000分的情况下，大模型的得分如未触及满分标准，或综合准确率未达到100%，即代表有优化空间。
9. 位居领先位置的第一梯队的三大模型「豆包、Kimi、海螺AI」，凭借均衡表现，具备显著的强项突出和相对较少的短板，其综合评分均高于或等于2700分，准确率达到90%及以上；紧随其后的第二梯队由四大模型「元宝、智脑、文心一言、商量」构成，综合评分均高于2500分，准确率达到85%以上，表现上尽管没有明显的强项，但短板也并不显著；综合评分低于2500分以下的大模型6个「万知、智谱清言、讯飞星火、通义千问、百小应、天工AI」，此次都定义为第三梯队，亟需尽快识别并补齐自身短板，确保符合监管合规的标准。
10. 「代码生成风险」结果：在本轮四大评测维度中表现最差，平均准确率只达到了66.9%。这表明在当前Web大模型的应用场景中，代码生成功能的安全性和合规性存在显著隐患。
11. 「涉密信息保护」结果：在本轮四大评测维度中表现也不尽如人意，平均准确率排名倒数第二，只达到了70.2%，揭示了当前Web大模型在涉密信息的处理上仍比较薄弱。
12. 「未成年人相关」结果：在本次评测深入聚焦于国家立场与常识相关的内容，其中国家立场占比40%，相关占比32%，而暴恐、不良价值观、谩骂、色情、违法违规等虽也涵盖在内，但总占比仅为28%。值得注意的是，所有参与评测的大模型在准确率方面均达到了92%以上的水平，这充分证明了大模型在通用内容安全领域因高度重视而展现出的更优表现。
13. 「隐私信息保护」结果：在本次评测中，10家大模型在「隐私信息保护」方面均以满分100分的优异成绩，提交了一份令人满意的答卷。而其余3个模型虽然略有失分，只需针对失分点迅速进行数据训练，以弥补其短板。
14. 评测总结：代码生成风险与涉密信息保护成大模型热门风险，任重而道远。
15. 评测总结：强项亮眼却陷短板困境，全面均衡成大模型的制胜关键！
基座大模型GLM-4-Plus引领，智谱全模型家族全面上线
文章概要：
1. 智谱发布若干更新模型，以基座大模型GLM-4Plus推出为标志，全模型家族正式上线bigmodel.cn。
2. 新基座大模型GLM-4-Plus在各大语言文本能力数据集上获得与GPT-4o及405B Llama3.1相当的，语言理解、逻辑推理、指令遵循、长文本输出方面都有较大突破。
3. 本次还新上线了视频通话API：GLM-4-Plus-VideoCall，它是清言视频通话背后的模型，可以实现视频通话、语音多轮交互等多种跨模态能力。
4. GLM-4-Plus-VideoCall上线开放平台开放申请，这种人与机器交互的范式革新，将拓展大模型应用想象力的边界，在更多场景中解锁魔法。
5. 智谱在模型能力方面构建了目前国内最全面、的模型矩阵，并受到广泛欢迎，仅开源模型版本在全球的下载量就超过2000万次。
6. 智谱第一时间就将最先进的模型部署其中，目前，基座大模型GLM-4-Plus引领，包括CogVideoX、GLM-4V-Plus、CogView-3-Plus，以及10月新晋上线的GLM-4-Plus-VideoCall等模型，已全部在开放平台，平台上的百万用户均可自由调用最新模型能力。
7. 推动AI普惠一直是智谱的目标，GLM-4-Flash现已免费，10月还赠送每位用户1亿tokens额度，提供最高1折的API折扣。
阅读原文
2. 新基座大模型GLM-4-Plus在各大语言文本能力数据集上获得与GPT-4o及405B Llama3.1相当的，语言理解、逻辑推理、指令遵循、长文本输出方面都有较大突破。
3. 本次还新上线了视频通话API：GLM-4-Plus-VideoCall，它是清言视频通话背后的模型，可以实现视频通话、语音多轮交互等多种跨模态能力。
4. GLM-4-Plus-VideoCall上线开放平台开放申请，这种人与机器交互的范式革新，将拓展大模型应用想象力的边界，在更多场景中解锁魔法。
5. 智谱在模型能力方面构建了目前国内最全面、的模型矩阵，并受到广泛欢迎，仅开源模型版本在全球的下载量就超过2000万次。
6. 智谱第一时间就将最先进的模型部署其中，目前，基座大模型GLM-4-Plus引领，包括CogVideoX、GLM-4V-Plus、CogView-3-Plus，以及10月新晋上线的GLM-4-Plus-VideoCall等模型，已全部在开放平台，平台上的百万用户均可自由调用最新模型能力。
7. 推动AI普惠一直是智谱的目标，GLM-4-Flash现已免费，10月还赠送每位用户1亿tokens额度，提供最高1折的API折扣。
喜马拉雅基于大模型 ChatBl 实践探索
文章概要：
1. 背景介绍：喜马拉雅在数据分析领域面临诸多挑战，希望利用大模型建立一套既能够释放开发压力，又方便业务人员使用，从而使数据价值得到充分的BI应用
2. 产品架构：联合建模需求场景，产品形态有三种：网页端、钉钉机器人，以及对外提供的API
3. 落地实践：人是写SQL的？大模型推理优化的主要方法包括Prompt Engineering、RAG、Fine-Tuning、AG+Fine-Tuning、智能体Agent、大模型迭代升级
. 未来展望：未来将继续提升产品能力，包括意图识别智能改写、智能修复、智能展示的能力。同时，DataOps相关智能体，例如SQL生成、SQL优化、排查等智能体。另一方面，将智能体与之前构建的能力相融合，让所有数据产品都具备自然语言的交互能力
阅读原文
2. 产品架构：联合建模需求场景，产品形态有三种：网页端、钉钉机器人，以及对外提供的API
3. 落地实践：人是写SQL的？大模型推理优化的主要方法包括Prompt Engineering、RAG、Fine-Tuning、AG+Fine-Tuning、智能体Agent、大模型迭代升级
. 未来展望：未来将继续提升产品能力，包括意图识别智能改写、智能修复、智能展示的能力。同时，DataOps相关智能体，例如SQL生成、SQL优化、排查等智能体。另一方面，将智能体与之前构建的能力相融合，让所有数据产品都具备自然语言的交互能力
LimSim++：多模态大模型在自动驾驶中的新舞台
文章概要：
1. 上海人工智能实验室的智能交通平台组推出了LimSim++，是一款专为多模态大语言模型（(M)LLM）设计的自动驾驶闭环仿真平台
2. LimSim++支持多种驾驶场景的模拟，如十字路口、匝道环岛等
3. LimSim支持多种模态输入的大语言模型
4. LimSim++注重持续学习能力
5. LimSim++为用户提供了丰富的接口，可以满足Driver Agent的定制需求
6. LimSim++支持用户自定义prompt，从而改变给(M)LLM的文本信息> 7. LimSim++提供(M)M决策进行评估的eline，用户可以通过改变权重参数调节评价偏好
8. LimSim++支持用户为(M)LLM添加的工具
9. 介绍了LimSim++的安装和运行方法
阅读原文
2. LimSim++支持多种驾驶场景的模拟，如十字路口、匝道环岛等
3. LimSim支持多种模态输入的大语言模型
4. LimSim++注重持续学习能力
5. LimSim++为用户提供了丰富的接口，可以满足Driver Agent的定制需求
6. LimSim++支持用户自定义prompt，从而改变给(M)LLM的文本信息> 7. LimSim++提供(M)M决策进行评估的eline，用户可以通过改变权重参数调节评价偏好
8. LimSim++支持用户为(M)LLM添加的工具
9. 介绍了LimSim++的安装和运行方法
OpenAIo1炸场，价格战未停，AI大模型五大内幕 | 年中盘点
文章概要：
1. 204年，大模型行业开始大起大落，模型层突破迟迟未至，应用层陷入价格战，视频模型成为难得亮点，机器人被热捧。
2. OpenAIo1号称首个具有“推理”能力的大模型，能通过推理过程逐步分析问题，直至得出正确结论。
3. 视频生成模型成为AI的主战场，经过半年迭代，视频模型的能力升级，曾经的PPT动画，到如今可以基于提示词，生成4s-16s连贯视频，生成过程中可以保持人物一致性、场景一致性、风格一致性，可以进行镜头控制、运动控制。
4. 大模型最激进的战场，当属价格战，从4月各个云厂商的春季峰会开始，字节高调“起头”，阿里“击穿底价”，百度直接桌子”，大厂把Token价格打到负毛利仍然没有收手。
5. 随着诸多大模型获得备案许可，围绕大模型的商业化进程需要进一步提速，C端商业化目前处于探索阶段，B端是大模型的重心，大模型公司在部分标杆项目的争夺中“短兵相接”。
6. 今年最热闹的大模型应用，当属具身智能，在7月5日的2024年世界人工智能大会，进世博展览馆的正门，18款列队站好的人形机器人向招手
阅读原文
2. OpenAIo1号称首个具有“推理”能力的大模型，能通过推理过程逐步分析问题，直至得出正确结论。
3. 视频生成模型成为AI的主战场，经过半年迭代，视频模型的能力升级，曾经的PPT动画，到如今可以基于提示词，生成4s-16s连贯视频，生成过程中可以保持人物一致性、场景一致性、风格一致性，可以进行镜头控制、运动控制。
4. 大模型最激进的战场，当属价格战，从4月各个云厂商的春季峰会开始，字节高调“起头”，阿里“击穿底价”，百度直接桌子”，大厂把Token价格打到负毛利仍然没有收手。
5. 随着诸多大模型获得备案许可，围绕大模型的商业化进程需要进一步提速，C端商业化目前处于探索阶段，B端是大模型的重心，大模型公司在部分标杆项目的争夺中“短兵相接”。
6. 今年最热闹的大模型应用，当属具身智能，在7月5日的2024年世界人工智能大会，进世博展览馆的正门，18款列队站好的人形机器人向招手
颠覆认知：大模型不可靠，越大越不可靠？最新研究登上 Nature
文章概要：
1. 最新研究登上 Nature：大模型不可，越大越不可靠。
2.伦西亚理工大学团队研究发现，大参数模型在简单任务上可能会出现过度拟合或错误的风险，不可。
3. 研究人员从人类用户与 LLM 互动的角度了难度一致性、任务回避和提示稳定性三个核心交织元素对 LLM 可靠性的影响。
4. 研究发现，模型在面对复杂任务时表现提升在简单的错误率却有明显上升。<> 5. 研究还揭示优化后模型中回避行为与错误率之间的微妙关系。
6. 该研究分析了模型对提示词的敏感性，特别是某些提示是否存在“安全区”。
7. 研究发现，当用户的难度预期与模型的输出结果不一致时，尤其是对于简单任务，模型和用户的错误监督都会增加，且监督无法弥补这些问题。
8. 尽管该研究在揭示 LLM 的提示敏感性、扩展与对性能方面取得了重要成果，但仍存在一些局限性。
阅读原文
2.伦西亚理工大学团队研究发现，大参数模型在简单任务上可能会出现过度拟合或错误的风险，不可。
3. 研究人员从人类用户与 LLM 互动的角度了难度一致性、任务回避和提示稳定性三个核心交织元素对 LLM 可靠性的影响。
4. 研究发现，模型在面对复杂任务时表现提升在简单的错误率却有明显上升。<> 5. 研究还揭示优化后模型中回避行为与错误率之间的微妙关系。
6. 该研究分析了模型对提示词的敏感性，特别是某些提示是否存在“安全区”。
7. 研究发现，当用户的难度预期与模型的输出结果不一致时，尤其是对于简单任务，模型和用户的错误监督都会增加，且监督无法弥补这些问题。
8. 尽管该研究在揭示 LLM 的提示敏感性、扩展与对性能方面取得了重要成果，但仍存在一些局限性。
AI大模型与手机OS的深度融合，为何要看vivo？
文章概要：
1. 智能手机市场以AI为牵头的软件联动硬件革新，AI大模型与手机的融合是系统性工程，vivo成为大模型手机战新标杆，借助AI重构系统体验。
2. vivo发布全新AI战略，包括蓝心智能、蓝心大模型矩阵、OriginOS 5等，核心是围绕蓝心智能展开，重构人与设备、数字世界、物理世界的沟通体验。
3. vivo致力于建设个人化AI，蓝心大模型再一次领跑智能终端变革赛道，借助蓝心智能 4. AI终端拐点已到，一些厂商制造焦虑，vivo用自身经验给全行业打样，AI融合要有产业理解，不能损害用户利益。
阅读原文
2. vivo发布全新AI战略，包括蓝心智能、蓝心大模型矩阵、OriginOS 5等，核心是围绕蓝心智能展开，重构人与设备、数字世界、物理世界的沟通体验。
3. vivo致力于建设个人化AI，蓝心大模型再一次领跑智能终端变革赛道，借助蓝心智能 4. AI终端拐点已到，一些厂商制造焦虑，vivo用自身经验给全行业打样，AI融合要有产业理解，不能损害用户利益。
一个关于学习大模型技术的方法论
文章概要：
1 文章讨论了学习大模型技术的，包括学习目的、基础要求、实践的重要性等方面。
2. 学习大模型技术难点在于个人的决心和，而非技术本身的难度
3. 学习大模型技术需要注重实践，将理论与实践相结合，通过实践来对理论的理解。
4 学习大模型技术的方法包括看书、看视频、找文章等遇到问题可以先放一边或与他人讨论。
5 学习大模型技术最重要的方法论是停止看手机，停止搜索怎么学习大模型，而是找一本书、一个视频，然后找一个场景，尝试用大模型去解决某个问题。
阅读原文
2. 学习大模型技术难点在于个人的决心和，而非技术本身的难度
3. 学习大模型技术需要注重实践，将理论与实践相结合，通过实践来对理论的理解。
4 学习大模型技术的方法包括看书、看视频、找文章等遇到问题可以先放一边或与他人讨论。
5 学习大模型技术最重要的方法论是停止看手机，停止搜索怎么学习大模型，而是找一本书、一个视频，然后找一个场景，尝试用大模型去解决某个问题。
学会区分大模型——大模型的分类，让你更清晰的认识大模型
文章概要：
1. 市面上大模型众多，学会分类很重要
2. 根据模型的参数量可分为大、中、三种类型，不同模型对资源要求和应用场景不同
3. 按任务类型分类，模型可分为生成式模型、式模型和混合模型
4 按数据模态分类，模型可单模态模型和多模态模型
5. 按训练方法分类，大模型可分为预训练模型、从零训练模型和迁移学习模型
6. 按应用领域分类，大模型可分为自然语言处理、计算机视觉模型和语音处理模型
7. 按模型架构分类，大模型可分为Transformer架构、卷积神经网络、循环神经网络和长短期记忆
阅读原文
2. 根据模型的参数量可分为大、中、三种类型，不同模型对资源要求和应用场景不同
3. 按任务类型分类，模型可分为生成式模型、式模型和混合模型
4 按数据模态分类，模型可单模态模型和多模态模型
5. 按训练方法分类，大模型可分为预训练模型、从零训练模型和迁移学习模型
6. 按应用领域分类，大模型可分为自然语言处理、计算机视觉模型和语音处理模型
7. 按模型架构分类，大模型可分为Transformer架构、卷积神经网络、循环神经网络和长短期记忆
大模型时代：通用AI基础设施的崛起与企业研发模式变革
文章概要：
1. 大模型的兴起对AI产业链产生深远影响企业研发重心从算法和开发转向基于通用大模型的垂直应用模型开发
2. 通用大模型提供商成为AI基础设施的提供者和产业生态的构建者，推动了AI产业的发展
3. 多家AI企业已成功基于通用大模型开发垂直应用模型，取得显著成效
4. 大模型将继续推动AI产业迈向新
阅读原文
2. 通用大模型提供商成为AI基础设施的提供者和产业生态的构建者，推动了AI产业的发展
3. 多家AI企业已成功基于通用大模型开发垂直应用模型，取得显著成效
4. 大模型将继续推动AI产业迈向新
探索智能纪元：大模型的起源、现状与未来
文章概要：
1. 大模型的起源可以追溯到20世纪的AI研究初期，当时的研究主要集中在逻辑推理和专家系统上。随着机器学习、深度学习技术的出现和硬件能力的飞速提升，大规模数据集和复杂神经网络模型的训练成为可能，从而催生了大模型的时代。
2. 大模型的演变路径包括从GPT-1到GPT-3.5的规模、复杂性和性能的提升，以及从单一模态向多模态的转变。
3. 大模型的特性包括参数量巨大、类型多样、能力强大，能够理解和处理高度复杂的数据模式。
4. 大模型的技术包括Transformer架构、有监督微调、人类反馈强化学习等，这些技术旨在和生成跨越不同感官模式的信息。
5. 大模型的应用包括在NLP、图像理解生成、语音识别等领域的广泛应用，以及在教育、医疗、农业、金融等不同行业的应用。
6. 大模型的发展得益于算法的创新、计算能力的提升、大规模数据集的出现，以及云计算平台的兴起。
7. 大模型的挑战包括模型大小与数据规模的权衡、网络架构的创新、提示工程、上下文推理、知识更新、可解释性、隐私安全性、数据偏见和误导性信息等。
8. 大模型的未来趋势包括模型规模与效率的平衡、知识的深度融合、具身智能的探索、可解释性与可信度的提高。
阅读原文
2. 大模型的演变路径包括从GPT-1到GPT-3.5的规模、复杂性和性能的提升，以及从单一模态向多模态的转变。
3. 大模型的特性包括参数量巨大、类型多样、能力强大，能够理解和处理高度复杂的数据模式。
4. 大模型的技术包括Transformer架构、有监督微调、人类反馈强化学习等，这些技术旨在和生成跨越不同感官模式的信息。
5. 大模型的应用包括在NLP、图像理解生成、语音识别等领域的广泛应用，以及在教育、医疗、农业、金融等不同行业的应用。
6. 大模型的发展得益于算法的创新、计算能力的提升、大规模数据集的出现，以及云计算平台的兴起。
7. 大模型的挑战包括模型大小与数据规模的权衡、网络架构的创新、提示工程、上下文推理、知识更新、可解释性、隐私安全性、数据偏见和误导性信息等。
8. 大模型的未来趋势包括模型规模与效率的平衡、知识的深度融合、具身智能的探索、可解释性与可信度的提高。
【大模型】2024年OpenAl最新大模型o1革新进展、突出表现及领域推进作用分析报告解读-26页附下载
文章概要：
1 OpenAI开发的o1系列模型是为了在回应前投入更多时间思考，以优化思维过程、尝试不同策略并识别错误。
2. o1i是一个成本效益较高的推理模型，专注于STEM领域，特别是在和编程方面表现出色。
3.1系列模型了的推理范式，包括思维链条（CoT和自我对强化学习。
4. o1模型在多个领域的测试中表现优异，如在国际数学IMO的资格考试中o1的正确率达到了83%br>5. OpenAI对o1系列模型进行了严格的安全评估，并建立了的保护措施。
6. o1模型推理能力可能对科学研究、编程、数学等领域的问题特别有用。
7. o1在最新的门萨智商测试中达到了120分的水平，远超其他大模型。
8. 中国的大型模型产业正在同步研究和实践应用自我对弈强化学习和思维链技术。
阅读原文
2. o1i是一个成本效益较高的推理模型，专注于STEM领域，特别是在和编程方面表现出色。
3.1系列模型了的推理范式，包括思维链条（CoT和自我对强化学习。
4. o1模型在多个领域的测试中表现优异，如在国际数学IMO的资格考试中o1的正确率达到了83%br>5. OpenAI对o1系列模型进行了严格的安全评估，并建立了的保护措施。
6. o1模型推理能力可能对科学研究、编程、数学等领域的问题特别有用。
7. o1在最新的门萨智商测试中达到了120分的水平，远超其他大模型。
8. 中国的大型模型产业正在同步研究和实践应用自我对弈强化学习和思维链技术。
表格增强生成 TAG（Table Augmented Generation)：大模型与数据库融合的新思路
文章概要：
1. 介绍了表格增强生成TAG技术，它融合了大模型和数据库知识，能将自然语言查询转化为SQL命令，并利用AI进行数据分析和处理，生成准确且相关的结果。
2. 对比了TAG与RAG、GAG等类似技术，指出TAG更侧重于利用数据库中的结构化数据进行分析和结果增强。br> 阐述了TAG技术的实现流程，包括理解数据库架构、预处理、2SQL转换、交互与查询执行、AI增强分析。
. 探讨了TAG技术商业智能、医疗保健、教育等领域的应用以及其带来的，如的准确性、更好的用户体验提升工作效率和挖掘更深层次的见解。
阅读原文
2. 对比了TAG与RAG、GAG等类似技术，指出TAG更侧重于利用数据库中的结构化数据进行分析和结果增强。br> 阐述了TAG技术的实现流程，包括理解数据库架构、预处理、2SQL转换、交互与查询执行、AI增强分析。
. 探讨了TAG技术商业智能、医疗保健、教育等领域的应用以及其带来的，如的准确性、更好的用户体验提升工作效率和挖掘更深层次的见解。
大模型量化技术原理：FP6
文章概要：
1. 近年来，随着Transformer、MOE架构的提出，深度学习模型变得越来越大，需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。模型主要分为剪枝、知识蒸馏、量化等几类。
2. 本文将围绕微软研究人员在FP6量化上的相关工作进行讲述，包括ZeroQuant(4+2)和FP6-LLM两篇论文。
3. ZeroQuant(4+2)主要工作包括扩大模型量化评估范围、证明FP6量化的卓越性能、创新的4+2 FP6设计。
4. LLM量化需要进行全量的评估，本文通过Zero-Shot任务任务、摘要任务来评估模型的性能。
5. 最佳解决方案是FP6，本文探讨了FP6的有效性程度及其对不同量化算法的适应性。
6. FP6-LLM主要工作包括提出TC-FPx，这是第一个全栈GPU KERNEL设计方案，具有统一的Tensor Core支持各种量化位宽的浮点权重。
7. FP6 Kernel设计的选择与挑战包括启用Tensor Cores、统一kernel而不是使用双kernel、硬件不友好的内存访问、反量化计算开销高。
8. FP6 Kernel设计的方法论包括运行前Bit-level预包装、运行时高效的SIMT计算、全栈的高效流水线设计。
9. FP6在DeepSpeed中的应用包括集成到DeepSpeed-FastGen中，实现了运行时的即时量化。
10. 本文通过微软的两篇论文介绍了FP6量化技术，ZeroQuant(4+2)中为FP6引入了创新的4+2 GPU没有进行全面的系统设计。而FP6-LLM则是第一个全栈GPU KERNEL设计，使用统一Tensor Core支持各种量化位宽的浮点权重，为LLM推理提供新的端到端支持。并在推理成本和模型质量之间实现了更好的权衡。同时，FP6-LLM通过一系列新颖的技术解决了硬件不友好的内存访问和反量化高计算开销的问题，以更少的GPU内存实现了更快的推理速度。最后，简要介绍了其在DeepSpeed中的应用。
阅读原文
2. 本文将围绕微软研究人员在FP6量化上的相关工作进行讲述，包括ZeroQuant(4+2)和FP6-LLM两篇论文。
3. ZeroQuant(4+2)主要工作包括扩大模型量化评估范围、证明FP6量化的卓越性能、创新的4+2 FP6设计。
4. LLM量化需要进行全量的评估，本文通过Zero-Shot任务任务、摘要任务来评估模型的性能。
5. 最佳解决方案是FP6，本文探讨了FP6的有效性程度及其对不同量化算法的适应性。
6. FP6-LLM主要工作包括提出TC-FPx，这是第一个全栈GPU KERNEL设计方案，具有统一的Tensor Core支持各种量化位宽的浮点权重。
7. FP6 Kernel设计的选择与挑战包括启用Tensor Cores、统一kernel而不是使用双kernel、硬件不友好的内存访问、反量化计算开销高。
8. FP6 Kernel设计的方法论包括运行前Bit-level预包装、运行时高效的SIMT计算、全栈的高效流水线设计。
9. FP6在DeepSpeed中的应用包括集成到DeepSpeed-FastGen中，实现了运行时的即时量化。
10. 本文通过微软的两篇论文介绍了FP6量化技术，ZeroQuant(4+2)中为FP6引入了创新的4+2 GPU没有进行全面的系统设计。而FP6-LLM则是第一个全栈GPU KERNEL设计，使用统一Tensor Core支持各种量化位宽的浮点权重，为LLM推理提供新的端到端支持。并在推理成本和模型质量之间实现了更好的权衡。同时，FP6-LLM通过一系列新颖的技术解决了硬件不友好的内存访问和反量化高计算开销的问题，以更少的GPU内存实现了更快的推理速度。最后，简要介绍了其在DeepSpeed中的应用。
字节发布豆包视频大模型，“中国版Sora”成视频模态最强音？
文章概要：
1. 字节跳动的视频生成模型于9月正式发布，引发行业的强烈关注。在竞争激烈的大模型市场中，视频模态是多模态技术发展的重要关卡。以视频内容创作产品见长的字节跳动，其视频模型能否成为中国版 Sora，此次模型产品的视频生成能力解决了哪些痛点？
2. 9月24日，字节跳动旗下火山引擎在 AI 创新巡展上正式发布豆包视频生成-PixelDance/Seaweed两款大模型，面向企业市场开启邀测。
3. 新款豆包视频生成模型正在即梦 AI 内测版小范围测试，未来将逐步开放给所有用户。这一举措将为广大用户带来更加便捷、高效的视频创作体验，也将为视频生成大模型领域带来新的发展机遇。
4. 豆包视频生成模型在语义理解方面展现出了强大的能力，与市面上大多数只能完成简单指令、单一动作的视频生成模型形成了鲜明对比。它能够遵从复杂的 prompt，解锁时序性多拍动作指令与多个主体间的交互能力。
5. 全新的扩散模型训练方法是豆包视频生成模型的一大创新。它成功攻克了多镜头切换时难以保持一致性的难题，在一个 prompt 的多个镜头切换时，能够保持主体、风格、氛围和逻辑的一致性。
6. 高效的 DiT 融合计算单元为豆包视频生成模型带来了丰富的镜头语言、灵动的动作、丰满的细节以及专业级的色彩调和和光影布局能力。
7. 豆包视频生成模型支持包括黑白、3D 动画、2D 动画、国画、厚涂等多种风格，满足了用户多样化的创作需求。
8. 豆包音乐模型能够精准地理解用户输入的歌词内容或图片情感，并生成与之高度契合的旋律和节奏。
9. 豆包音乐模型支持10余种不同的音乐风格和情绪表现，如民谣、流行、摇滚、国风等，满足不同用户的多样化需求。
10. 豆包同声传译模型在跨语言沟通中具有显著优势。该模型具有超低延时、边说边译的特点，能够在实时翻译的过程中保持流畅自然、准确率高的优势。
11. 火山引擎还对通用语言模型、文生图模型、语音模型进行了全面升级。通用语言模型在综合能力、数学、代码、专业知识等维度上均有不同幅度的提升。文生图模型 2.0 在推理效率和性能上实现了大幅提升，能够更精确地呈现复杂场景并极速出图。语音模型的升级则引入了超强混音功能，用户可以自由组合不同的音色来打造独特的音效体验。
12. 文生视频大模型虽然在发展过程中面临着一些挑战，但潜力巨大，未来发展值得期待。
阅读原文
2. 9月24日，字节跳动旗下火山引擎在 AI 创新巡展上正式发布豆包视频生成-PixelDance/Seaweed两款大模型，面向企业市场开启邀测。
3. 新款豆包视频生成模型正在即梦 AI 内测版小范围测试，未来将逐步开放给所有用户。这一举措将为广大用户带来更加便捷、高效的视频创作体验，也将为视频生成大模型领域带来新的发展机遇。
4. 豆包视频生成模型在语义理解方面展现出了强大的能力，与市面上大多数只能完成简单指令、单一动作的视频生成模型形成了鲜明对比。它能够遵从复杂的 prompt，解锁时序性多拍动作指令与多个主体间的交互能力。
5. 全新的扩散模型训练方法是豆包视频生成模型的一大创新。它成功攻克了多镜头切换时难以保持一致性的难题，在一个 prompt 的多个镜头切换时，能够保持主体、风格、氛围和逻辑的一致性。
6. 高效的 DiT 融合计算单元为豆包视频生成模型带来了丰富的镜头语言、灵动的动作、丰满的细节以及专业级的色彩调和和光影布局能力。
7. 豆包视频生成模型支持包括黑白、3D 动画、2D 动画、国画、厚涂等多种风格，满足了用户多样化的创作需求。
8. 豆包音乐模型能够精准地理解用户输入的歌词内容或图片情感，并生成与之高度契合的旋律和节奏。
9. 豆包音乐模型支持10余种不同的音乐风格和情绪表现，如民谣、流行、摇滚、国风等，满足不同用户的多样化需求。
10. 豆包同声传译模型在跨语言沟通中具有显著优势。该模型具有超低延时、边说边译的特点，能够在实时翻译的过程中保持流畅自然、准确率高的优势。
11. 火山引擎还对通用语言模型、文生图模型、语音模型进行了全面升级。通用语言模型在综合能力、数学、代码、专业知识等维度上均有不同幅度的提升。文生图模型 2.0 在推理效率和性能上实现了大幅提升，能够更精确地呈现复杂场景并极速出图。语音模型的升级则引入了超强混音功能，用户可以自由组合不同的音色来打造独特的音效体验。
12. 文生视频大模型虽然在发展过程中面临着一些挑战，但潜力巨大，未来发展值得期待。
大模型赋能智能座舱，中国军团迎接新挑战
文章概要：
1. 大模型赋能智能座舱，中国军团迎接新挑战>2. 国内座舱的爆发式发展，大模型主要推动力之一
3. 多模态大模型，有希望成为未来人机交互的超级入口
4. 智能汽车是原生多模态大模型的绝佳落地场景
5. 火山引擎汽车行业总经理杨立伟，模型在座舱最大的价值，就是帮助座舱集成好生态，再打通各个终端
6. 原生多模态就是指从训练阶段开始模型就利用大量不同模态的数据进行预训练，技术上实现紧密的耦合，可以在输入和输出端实现多模态，而且还具备强大的多模态推理能力以及跨模态迁移能力
. 商汤将多模态大模型业务分为三层：模型层、引擎层层
8. 神州数码汽车业务集团CTO刘黎认为，多模态是一个切入点最大程度发挥座舱的自有
9. 科大讯飞汽车事业部智能座舱业务总经理吕思南认为，多模态大模型加速“上车”座舱深入融合多，的需求也越来越强，算力也有极大的压力
10. 火山引擎座舱大模型负责人张航强调，几年，座舱内的用户需求没有太大变化，的本质是跟车的交互。所以，智能座舱当前的重心，不该急于产品创新，而是回归原点，改变车内场景的交互效率
11. 百度智舱业务部总经理李涛认为，如果一个功能频繁被用户使用，一方面说明该功能非常实用，用户对它产生了依赖但另一方面，也体现了整体车辆设计的智能化程度比较低，无法理解用户当前所需
阅读原文
3. 多模态大模型，有希望成为未来人机交互的超级入口
4. 智能汽车是原生多模态大模型的绝佳落地场景
5. 火山引擎汽车行业总经理杨立伟，模型在座舱最大的价值，就是帮助座舱集成好生态，再打通各个终端
6. 原生多模态就是指从训练阶段开始模型就利用大量不同模态的数据进行预训练，技术上实现紧密的耦合，可以在输入和输出端实现多模态，而且还具备强大的多模态推理能力以及跨模态迁移能力
. 商汤将多模态大模型业务分为三层：模型层、引擎层层
8. 神州数码汽车业务集团CTO刘黎认为，多模态是一个切入点最大程度发挥座舱的自有
9. 科大讯飞汽车事业部智能座舱业务总经理吕思南认为，多模态大模型加速“上车”座舱深入融合多，的需求也越来越强，算力也有极大的压力
10. 火山引擎座舱大模型负责人张航强调，几年，座舱内的用户需求没有太大变化，的本质是跟车的交互。所以，智能座舱当前的重心，不该急于产品创新，而是回归原点，改变车内场景的交互效率
11. 百度智舱业务部总经理李涛认为，如果一个功能频繁被用户使用，一方面说明该功能非常实用，用户对它产生了依赖但另一方面，也体现了整体车辆设计的智能化程度比较低，无法理解用户当前所需
刚刚，10名科学家Science联名发文：开源大模型被「误解」了
文章概要：
1. 10名科学家在Science联名发文，探讨开源模型的优势、风险和潜在不利影响。
2. 开源基础模型在推动科技创新、促进竞争和权力分配方面具有巨大潜力，但也存在被恶意用户利用的风险。
3. 文章提到不同的政策建议可能会对创新生态系统产生不均衡的影响，并呼吁世界各国制定更明确且有效的政策，平衡开源与闭源基础模型的发展，从而促进创新的同时有效管理其潜在的社会风险。
阅读原文
2. 开源基础模型在推动科技创新、促进竞争和权力分配方面具有巨大潜力，但也存在被恶意用户利用的风险。
3. 文章提到不同的政策建议可能会对创新生态系统产生不均衡的影响，并呼吁世界各国制定更明确且有效的政策，平衡开源与闭源基础模型的发展，从而促进创新的同时有效管理其潜在的社会风险。
多模态大模型综述
文章概要：
1. 多模态大型语言模型（MLLM）的出现是建立在大型语言模型（LLM）和大型视觉模型（LVM）领域不断突破的基础上的。
2. MMLM 的基本结构包括预训练的多模态编码器、预训练的 LLM 和模态接口。
3. MMLM 的训练策略和训练数据包括预训练、指令微调和对齐微调。
4. MMLM 的性能评估方法包括封闭式问题和开放式问题。
5. MMLM 的能力扩展包括支持更精细粒度控制的模型和支持更多的模态输入和输出。
6. MMLM 的幻觉问题及其缓解方法包括幻觉评估方法和幻觉缓解方法。
阅读原文
2. MMLM 的基本结构包括预训练的多模态编码器、预训练的 LLM 和模态接口。
3. MMLM 的训练策略和训练数据包括预训练、指令微调和对齐微调。
4. MMLM 的性能评估方法包括封闭式问题和开放式问题。
5. MMLM 的能力扩展包括支持更精细粒度控制的模型和支持更多的模态输入和输出。
6. MMLM 的幻觉问题及其缓解方法包括幻觉评估方法和幻觉缓解方法。