复旦大学：2024大语言模型的能力边界与发展思考报告
文章概要：
1. 大语言模型在诸多领域展现出了惊人的能力，从写诗、写代码到辅助医疗诊断，似乎无所不能。然而，随着应用的深入，人们也逐渐发现大语言模型并非万能，其在落地应用中面临着诸多挑战，其能力边界也逐渐成为研究的重要课题。复旦大学的这份报告对大语言模型的能力边界与发展进行了深入探讨，有助于我们更全面、深入地了解这一前沿技术。
2. 大语言模型的核心任务是根据已有的文本生成合理的延续内容。它通过对数十亿个网页、数字化书籍等人类撰写内容的统计规律进行学习，推测接下来可能出现的文字。
3. 大语言模型在知识记忆与运用、推理能力、文本生成能力、任务执行能力等方面存在局限性。
4. 大语言模型在未来的发展中，无论是追求AGI还是聚焦特定任务应用，都需要克服诸多挑战。一方面，要不断投入资源进行基础理论研究和技术创新，提高模型的性能和能力；另一方面，要理性看待模型的能力，合理选择应用场景，充分发挥其优势，避免盲目应用带来的风险。
阅读原文
2. 大语言模型的核心任务是根据已有的文本生成合理的延续内容。它通过对数十亿个网页、数字化书籍等人类撰写内容的统计规律进行学习，推测接下来可能出现的文字。
3. 大语言模型在知识记忆与运用、推理能力、文本生成能力、任务执行能力等方面存在局限性。
4. 大语言模型在未来的发展中，无论是追求AGI还是聚焦特定任务应用，都需要克服诸多挑战。一方面，要不断投入资源进行基础理论研究和技术创新，提高模型的性能和能力；另一方面，要理性看待模型的能力，合理选择应用场景，充分发挥其优势，避免盲目应用带来的风险。
离线大模型翻译：苹果负责画饼，国产负责落地
文章概要：
1. 作者讲述了自己在使用翻译工具时的糟糕体验，包括传统在线翻译和苹果手机自带翻译的不准确和不稳定。
2. 对比了基于大模型的翻译工具和传统机器翻译的效果，发现大模型翻译在识别语境、上下文联系和准确性方面表现更出色。
3. 探讨模型翻译的局限性，如对网络稳定性的依赖和收费问题，提出离线大模型翻译工具的需求。
4. 分析了离线大模型翻译的优势，如不依赖网络、对算力要求低等，并认为搭载离线大模型的词典笔是最优解。
5. 介绍了有道词典笔X7的离线大模型翻译功能，通过实测展示了其准确、快速的翻译效果。
6. 称赞有道在词典笔上推出离线大模型翻译的努力，认为其在算法质量和工程创新方面做了不少工作。
7. 强调拥抱潮流的产品能走得更远，如AI对翻译、摄影、汽车等行业的影响，好的产品需要吸收外部先进技术。
阅读原文
2. 对比了基于大模型的翻译工具和传统机器翻译的效果，发现大模型翻译在识别语境、上下文联系和准确性方面表现更出色。
3. 探讨模型翻译的局限性，如对网络稳定性的依赖和收费问题，提出离线大模型翻译工具的需求。
4. 分析了离线大模型翻译的优势，如不依赖网络、对算力要求低等，并认为搭载离线大模型的词典笔是最优解。
5. 介绍了有道词典笔X7的离线大模型翻译功能，通过实测展示了其准确、快速的翻译效果。
6. 称赞有道在词典笔上推出离线大模型翻译的努力，认为其在算法质量和工程创新方面做了不少工作。
7. 强调拥抱潮流的产品能走得更远，如AI对翻译、摄影、汽车等行业的影响，好的产品需要吸收外部先进技术。
浅谈：当我们Prompt大模型时究竟在做什么？
文章概要：
1. AI成为未来改变世界的最大变数，Prompt最“亲民”，指的是在和大模型文字聊天中，给它一些回答问题的指示、提示。<>. Prompt在不同人手上所发挥的能力天差地别，我们其实是在构建一颗思考的种子。
3. 大模型背后是以自注意力机制为的算法，最根本解决的问题是一个字后哪个字出现概率最大。
4.模型是用巨量的人类文本数据训练的，所以可以说它是知识的，而且“海洋”中的知识是有，不是混在一起
5. 当我们思考的时候究竟在做呢？有两方面，首先是对概念的演绎和，最后是对结构的。
6. 当我们进行Prompt，我们需要将某种思考压缩成种子。把Prompt交给大模型后，这颗将在微弱““的知识海洋中迅速攫取相关知识，知识将服从种子中的概念和结构成为种子的。最终种子将长成大树。
阅读原文
3. 大模型背后是以自注意力机制为的算法，最根本解决的问题是一个字后哪个字出现概率最大。
4.模型是用巨量的人类文本数据训练的，所以可以说它是知识的，而且“海洋”中的知识是有，不是混在一起
5. 当我们思考的时候究竟在做呢？有两方面，首先是对概念的演绎和，最后是对结构的。
6. 当我们进行Prompt，我们需要将某种思考压缩成种子。把Prompt交给大模型后，这颗将在微弱““的知识海洋中迅速攫取相关知识，知识将服从种子中的概念和结构成为种子的。最终种子将长成大树。
AI大模型落地，为什么是央国企先行？
文章概要：
1. 从2024年1-7月，央国企采购大模型项目数量已超过950个，且均匀布局在智算中心大模型预训练、Agent和行业应用等多个方向
2. 大模型纷纷落地国央企，政策推动成为决定性因素。国资委多次对企业发展人工智能提出要求
3. 运营商、政务、能源抢先建设智算中心
4. AI大模型：颠覆传统IT架构背后
5. 竞争点：预训练、安全及行业know-how
阅读原文
2. 大模型纷纷落地国央企，政策推动成为决定性因素。国资委多次对企业发展人工智能提出要求
3. 运营商、政务、能源抢先建设智算中心
4. AI大模型：颠覆传统IT架构背后
5. 竞争点：预训练、安全及行业know-how
讲的非常明白的大模型原理，数学是人工智能科学的基石
文章概要：
1. 文章讲的是大模型原理，数学是人工智能科学的
2. 文章发布于山西省万荣中学公众号，发布时间20241月15日
阅读原文
2. 文章发布于山西省万荣中学公众号，发布时间20241月15日
北大新作：让大模型来做peer-review结果会怎样？
文章概要：
1. 北大团队受启发于同行评审机制，探索一种全新环境下大模型监督自动评估方法，“CO；
2. 现有的模型评估方式面临着各式各样问题，Benchmark的没法对齐人类实际使用真实偏好，同时开始有不少文章讨伐这种基于Benchmark评估方式的合理性；br>3 PiCO框架满足评估所用数据集是无的，且过程没有人类反馈的，大模型能够当裁判来评估其它大模型对不同问题的回答，且其回答也会被其它大评价等特点；br>.CO在多个基于排名的上超越了包括Claude-3在内的所有在斯和德尔相关系数提高br>.CO在精度和RBP等指标上超越了所有基线，证明其在LLM排名预测上准确，且与其他方法消耗的token相近但无需人工标注。
阅读原文
2. 现有的模型评估方式面临着各式各样问题，Benchmark的没法对齐人类实际使用真实偏好，同时开始有不少文章讨伐这种基于Benchmark评估方式的合理性；br>3 PiCO框架满足评估所用数据集是无的，且过程没有人类反馈的，大模型能够当裁判来评估其它大模型对不同问题的回答，且其回答也会被其它大评价等特点；br>.CO在多个基于排名的上超越了包括Claude-3在内的所有在斯和德尔相关系数提高br>.CO在精度和RBP等指标上超越了所有基线，证明其在LLM排名预测上准确，且与其他方法消耗的token相近但无需人工标注。
粤语X大模型，这个重点实验室好犀利！
文章概要：
1. 11月14日，大模型与语言资源学术研讨会暨粤语语料库建设与大模型评测重点实验室启动会在广州大学(黄埔校区)举行，由广州大学与广州市社会科学界联合会联合主办。
2. 广州大学与广州市社科联合作共建“粤语语料库建设与大模型评测重点实验室”，期望通过多学科交叉融合创新研究，探索具有中国特色、岭南风格的城市文化传承、保护与发展之路。
3. 重点实验室主任、广州大学齐佳音教授介绍，重点实验室将通过建立岭南文化核心语料及细分领域知识库、粤语数据资产库、粤语高质量数据集，以重点实验室为载体形成面向人工智能应用的粤语文化数据资源基础服务能力以及面向人工智能粤语服务的内容安全合规评测能力，为粤语的数据化、资源化、服务化和产业化助力。
4. 重点实验室设立“双首席科学家”，由中国工程院院士、广州大学网络空间安全学院名誉院长、中国电子信息产业集团有限公司资深首席科学家方滨兴院士，香港科技大学(广州)党委书记、广州大学二级教授、国家语委科研机构国家语言服务与粤港澳大湾区语言研究中心主任屈哨兵教授分别担任重点实验室技术首席专家与语言首席专家。
5. 重点实验室以广州大学为主体，依托广州大学网络空间安全学院、人文学院、新闻与传播学院，打造跨学科协同创新科研平台。以广州为基地，推动广东、香港、澳门的学术团体以及互联网企业共建共享粤语语料数据库。接下来，重点实验室将围绕粤语文化精神标识体系研究、通用粤语语料库建设、大模型粤语言语交互质量评测、大模型粤语言语交互质量提升研究四个方向开展科学研究。
6. 中国工程院院士、广州大学网络空间安全学院名誉院长方滨兴院士，广州大学二级教授、香港科技大学(广州)党委书记屈哨兵教授，北京语言大学语言资源高精尖创新中心主任荀恩东教授分别作了精彩的主旨报告，分享了他们在大模型技术、语言资源研究、语料库建设等方面的最新成果见解。
阅读原文
2. 广州大学与广州市社科联合作共建“粤语语料库建设与大模型评测重点实验室”，期望通过多学科交叉融合创新研究，探索具有中国特色、岭南风格的城市文化传承、保护与发展之路。
3. 重点实验室主任、广州大学齐佳音教授介绍，重点实验室将通过建立岭南文化核心语料及细分领域知识库、粤语数据资产库、粤语高质量数据集，以重点实验室为载体形成面向人工智能应用的粤语文化数据资源基础服务能力以及面向人工智能粤语服务的内容安全合规评测能力，为粤语的数据化、资源化、服务化和产业化助力。
4. 重点实验室设立“双首席科学家”，由中国工程院院士、广州大学网络空间安全学院名誉院长、中国电子信息产业集团有限公司资深首席科学家方滨兴院士，香港科技大学(广州)党委书记、广州大学二级教授、国家语委科研机构国家语言服务与粤港澳大湾区语言研究中心主任屈哨兵教授分别担任重点实验室技术首席专家与语言首席专家。
5. 重点实验室以广州大学为主体，依托广州大学网络空间安全学院、人文学院、新闻与传播学院，打造跨学科协同创新科研平台。以广州为基地，推动广东、香港、澳门的学术团体以及互联网企业共建共享粤语语料数据库。接下来，重点实验室将围绕粤语文化精神标识体系研究、通用粤语语料库建设、大模型粤语言语交互质量评测、大模型粤语言语交互质量提升研究四个方向开展科学研究。
6. 中国工程院院士、广州大学网络空间安全学院名誉院长方滨兴院士，广州大学二级教授、香港科技大学(广州)党委书记屈哨兵教授，北京语言大学语言资源高精尖创新中心主任荀恩东教授分别作了精彩的主旨报告，分享了他们在大模型技术、语言资源研究、语料库建设等方面的最新成果见解。
运营商大模型NO.1中国电信TeleChat2成果入选SuperCLUEAgent总榜
文章概要：
1. 三大运营商在算力、大模型、AI应用领域都有布局，中国电信TeleChat2大模型入选SuperCLUEAgent总
2CLUE是一个专为中文大设计的综合性评测基准，从基础能力、专业能力和中文特性能力三个维度对模型进行评估。
3. 中国电信人工智能研究院旨在加强人工智能领域的前沿技术攻关，TeleChat2在SuperCLUE评测中表现优异。
4. 数说123之算力模型是北京数说政通科技自媒体矩阵“数说23”子账号人工智能领域的媒体宣传等服务。
阅读原文
2CLUE是一个专为中文大设计的综合性评测基准，从基础能力、专业能力和中文特性能力三个维度对模型进行评估。
3. 中国电信人工智能研究院旨在加强人工智能领域的前沿技术攻关，TeleChat2在SuperCLUE评测中表现优异。
4. 数说123之算力模型是北京数说政通科技自媒体矩阵“数说23”子账号人工智能领域的媒体宣传等服务。
前瞻产业研究院受邀出席“2024桃花源硬科技节”，重磅发布《中国AI大模型场景探索及产业应用蓝皮书》
文章概要：
1. 11月15日，“202硬科技节”在深圳宝安桃花源科技创新生态园启幕，前瞻产业研究院受邀出席并发布《2024年中国场景探索及产业应用蓝皮书》。
2. 前瞻产业研究院高级研究员李宛卿围绕AI大模型行业应用概况、现状及案例、痛点及解决方案前景趋势及投资机会分析四大方面，对蓝皮书进行了解读。
3. 当前整体AI大模型行业仍处于萌芽期，市场规模并不大但行业增速较快，预计到208年我国AI大模型行业的市场规模将千亿元，行业复合增速将超过50%。br> 4.、政务是大模型渗透率最高的两大行业，我国AI大行业应用企业大多分布在东部地区或经济发达一线城市。
5. 当前AI模型行业应用面临的最大痛点即是在产业链环节面临“卡脖子的风险，此外还面临数据缺乏、人才缺失、法规风险、市场认知不准确以及行业know-how不足等多重发展痛点和难点
6. 具备强大预测能力的预测大模型强大决策能力的大模型和能够自主学习、实时交互的具身智能大模型最有可能成为继自然语言大模型和多模态大模型后的下一个大模型行业风口br> 7. 前瞻产业研究院建议企业脱虚向实谨防陷入“模型”规模之争企业合作，做大行业蛋糕是当前首要任务；关注细分行业机会，寻求差异化竞争优势。
阅读原文
2. 前瞻产业研究院高级研究员李宛卿围绕AI大模型行业应用概况、现状及案例、痛点及解决方案前景趋势及投资机会分析四大方面，对蓝皮书进行了解读。
3. 当前整体AI大模型行业仍处于萌芽期，市场规模并不大但行业增速较快，预计到208年我国AI大模型行业的市场规模将千亿元，行业复合增速将超过50%。br> 4.、政务是大模型渗透率最高的两大行业，我国AI大行业应用企业大多分布在东部地区或经济发达一线城市。
5. 当前AI模型行业应用面临的最大痛点即是在产业链环节面临“卡脖子的风险，此外还面临数据缺乏、人才缺失、法规风险、市场认知不准确以及行业know-how不足等多重发展痛点和难点
6. 具备强大预测能力的预测大模型强大决策能力的大模型和能够自主学习、实时交互的具身智能大模型最有可能成为继自然语言大模型和多模态大模型后的下一个大模型行业风口br> 7. 前瞻产业研究院建议企业脱虚向实谨防陷入“模型”规模之争企业合作，做大行业蛋糕是当前首要任务；关注细分行业机会，寻求差异化竞争优势。
AI大模型专家交流纪要
文章概要：
1. 国内大模型在基本能力上与OpenAI的O1差距不大，在追赶海外先进水平上取得了显著进展，亮点包括政策支持力度明显、在垂直应用领域有产品尝试和落地案例、产品生态活跃等，但也存在算力、数据质量、用户层面和应用层面数据缺失等明显不足。
2. 国内模型公司主要分为创业公司和大厂两派，创业公司中质朴和皆悦星辰较有潜力，大厂中百度和字节跳动有很大机会。
3. 国产模型的会员制商业模式未完全跑通的原因包括尚未大众化、用户会优先选择海外更好的模型、产品的价值增益尚未达到非付费不可的程度。
4. AI agent能够基于人类指令完成一系列工作流，其核心区别在于具备规划和行动能力，实现agent的关键在于收集和处理行为数据。
5. 端侧模型和AI操作系统在硬件设计和模型能力边界调整上的挑战在于模型尺寸变小后如何保证效果，业内专家普遍认为明年是实现落地的好时机。
6. 多模态在视频生成和作品制作方面的成熟度较高，可林、君面和质朴亲近在综合表现上更为出色，字节和mini max可能在未来更具优势。
7. 腾讯和阿里在大模型方面的策略不同，腾讯较为稳健，阿里则通过通义和魔搭构建开源模型社区生态、投资多样化的大模型公司进行布局、将AI技术植入到各种云端模块产品中，并与云服务一起销售。
8 AI搜索加入AI后，能够改变人们的搜索行为和交互方式，降低搜索门槛，但其面临的挑战在于商业化模式尚不明确、技术框架尚不成熟、成本问题等。
9. 应用生态的进展的关键点在于端侧大模型、多模态和用户教育或破圈。
阅读原文
2. 国内模型公司主要分为创业公司和大厂两派，创业公司中质朴和皆悦星辰较有潜力，大厂中百度和字节跳动有很大机会。
3. 国产模型的会员制商业模式未完全跑通的原因包括尚未大众化、用户会优先选择海外更好的模型、产品的价值增益尚未达到非付费不可的程度。
4. AI agent能够基于人类指令完成一系列工作流，其核心区别在于具备规划和行动能力，实现agent的关键在于收集和处理行为数据。
5. 端侧模型和AI操作系统在硬件设计和模型能力边界调整上的挑战在于模型尺寸变小后如何保证效果，业内专家普遍认为明年是实现落地的好时机。
6. 多模态在视频生成和作品制作方面的成熟度较高，可林、君面和质朴亲近在综合表现上更为出色，字节和mini max可能在未来更具优势。
7. 腾讯和阿里在大模型方面的策略不同，腾讯较为稳健，阿里则通过通义和魔搭构建开源模型社区生态、投资多样化的大模型公司进行布局、将AI技术植入到各种云端模块产品中，并与云服务一起销售。
8 AI搜索加入AI后，能够改变人们的搜索行为和交互方式，降低搜索门槛，但其面临的挑战在于商业化模式尚不明确、技术框架尚不成熟、成本问题等。
9. 应用生态的进展的关键点在于端侧大模型、多模态和用户教育或破圈。
万字长文剖析城市大模型：认知、应用、展望
文章概要：
1. 文章主要探讨了城市大模型的认知、应用和展望。首先介绍了行业大模型的三种类型，包括纯纯型、精调型和应用型，并分析了它们的优缺点和适用范围。接着，文章了大的，辅助治理、政务服务等，并指出了它们的局限性和改进方向。最后，文章展望了城市大模型的未来发展方向，包括底层算法、应用架构、数据知识、成本效率和跨模态等方面。
2. 文章指出，城市大模型是应用于市场失灵的公共服务与公共管理领域的大模型，它的定义和应用场景需要以数据和知识为核心，同时需要行业主管部门进行顶层设计和统筹规划，以确保行业共性知识库的合规性，并推动建立一个可扩展、可协同的行业大模型技术架构。
3. 文章认为，城市大模型的未来方向是多模态的，它需要具备对以语言为表征的社会空间，以及以三维空间为表征的物理空间的理解与创造能力，并将它们连接在一起，才能真正理解并创造未来城市。
阅读原文
2. 文章指出，城市大模型是应用于市场失灵的公共服务与公共管理领域的大模型，它的定义和应用场景需要以数据和知识为核心，同时需要行业主管部门进行顶层设计和统筹规划，以确保行业共性知识库的合规性，并推动建立一个可扩展、可协同的行业大模型技术架构。
3. 文章认为，城市大模型的未来方向是多模态的，它需要具备对以语言为表征的社会空间，以及以三维空间为表征的物理空间的理解与创造能力，并将它们连接在一起，才能真正理解并创造未来城市。
重点项目巡礼 | 加快研发陕西文旅AI大模型应用平台
文章概要：
1. 陕文投集团聚焦“加快高质量发展，打造全新陕文投”主题，确定了一系列项目，包括长安十二时辰项目二期、《赳赳大秦》、陕西文旅AI大模型等。
2. 文旅AI大是结合人工智能技术、大数据和云计算等前沿科技的应用，文投集团“文化+科技”抓手加快研发陕西文旅数据底座和文旅AI应用平台。
3. 陕文投集团三大核心内容打造全省文旅数据底座、建设行业领先算力中心训练文旅行业垂直大。
4. 陕文投集团推动三个平台升级包括陕西省智慧旅游大数据平台、“惠旅”平台、游陕西”。br>5 陕文投集团打造三大智能引擎，包括文旅智能大脑、文旅项目智能、出行智能。
陕文投集团三个重要合作，包括与华为开展重大项目合作、与易点天下开展AI产品合作、与多所高校开展研发。
阅读原文
2. 文旅AI大是结合人工智能技术、大数据和云计算等前沿科技的应用，文投集团“文化+科技”抓手加快研发陕西文旅数据底座和文旅AI应用平台。
3. 陕文投集团三大核心内容打造全省文旅数据底座、建设行业领先算力中心训练文旅行业垂直大。
4. 陕文投集团推动三个平台升级包括陕西省智慧旅游大数据平台、“惠旅”平台、游陕西”。br>5 陕文投集团打造三大智能引擎，包括文旅智能大脑、文旅项目智能、出行智能。
陕文投集团三个重要合作，包括与华为开展重大项目合作、与易点天下开展AI产品合作、与多所高校开展研发。
模型预测：幻觉与模态崩溃之间的权衡 | 腾讯发布Spider：任意到多模态大模型 | 有限数据下的微调语言模型的实用指南....
文章概要：
1. 这篇论文主要研究了统计语言生成设置中，如何平衡生成的字符串的一致性和丰富性
2. 介绍了一种新的多模态大型语言模型，名为Spider
3. 关注在有限数据下如何优化预训练大型语言模型的性能
4. 介绍一个名为MagicQuill的智能图像编辑系统
5. 提出了一种名为“压缩注意力”的加速机制
6. 关注小型视觉语言模型在处理长详细图像字幕时的挑战
7. 提出了一种序贯隐私和公平性增强数据合成程序
. 提出了一种自适应解码的方法
9. 扩展了Caravan数据集，增加了多种气象即时预报和预测数据
10. 介绍了一种名为Pie的LLM推理框架
11. 提出了一种基于事件时间预训练的框架
12. 探索将大型语言模型从文本预训练扩展到生成统一模型内3D网格的能力
13 提出了一种并行多语言多任务基准测试
14. 介绍了一个名为MIDInfinite的web应用程序
15. 介绍了一种自适应的逻辑综合数据集生成框架
16. 探讨了在生成式人工智能的开发和评估过程，如何确保非主导价值、知识和物质文化得到体现
17. 研究了人类在一个混合搜寻任务中，在面对不同面额硬币时，如何依据价值和出现频率做出决策
18. 提出了一种基于扩散模型的方法，用于生成音频驱动的面部表情和头部运动
19. 关注变量集对训练数据效率的影响
20. 介绍了多模态大型语言模型在精细粒度视觉理解方面的应用
21. 探讨了在解决重大社会问题时采用大型语言模型的必要性
22. 提供了一个全面的医疗问答系统评价框架
23. 介绍了一种新的评估大语言模型在生物医学中产生的事实冲突幻觉的方法
24. 研究了将大语言模型与检索增强生成技术集成，用于提高汽车行业自动化设计和软件开发效率
25. 介绍了动态时间线摘要的相关
26. 提出了一种具有高精度可解释性的细粒度情感编辑模型
27. 提出了一种新的多星飞行器框架
28. 研究了基于深度学习的非侵入式神经信号解码方法
29. 介绍了针对印尼语言的文档抽取平台和基准数据集
30. 提出了一种基于深度学习的压缩技术
31. 提出了一种通过动态批处理感知的专家选择实现大规模模型的高效推理的方法
32. 提出了一种验证多跳多模态声明的方法33. 分析了LLM产生幻觉的原因
34. 研究了张量并行大模型推理中的通信压缩问题
35. 提出了一种通过稀疏注意力机制降低大模型推理成本的方法
6. 探讨了人工智能驱动的材料逆设计的过去、现在和未来
37. 提出了一种音乐疗法音乐生成语言模型
38. 介绍了一个名为Med-Bot的AI驱动的医疗信息助手
阅读原文
2. 介绍了一种新的多模态大型语言模型，名为Spider
3. 关注在有限数据下如何优化预训练大型语言模型的性能
4. 介绍一个名为MagicQuill的智能图像编辑系统
5. 提出了一种名为“压缩注意力”的加速机制
6. 关注小型视觉语言模型在处理长详细图像字幕时的挑战
7. 提出了一种序贯隐私和公平性增强数据合成程序
. 提出了一种自适应解码的方法
9. 扩展了Caravan数据集，增加了多种气象即时预报和预测数据
10. 介绍了一种名为Pie的LLM推理框架
11. 提出了一种基于事件时间预训练的框架
12. 探索将大型语言模型从文本预训练扩展到生成统一模型内3D网格的能力
13 提出了一种并行多语言多任务基准测试
14. 介绍了一个名为MIDInfinite的web应用程序
15. 介绍了一种自适应的逻辑综合数据集生成框架
16. 探讨了在生成式人工智能的开发和评估过程，如何确保非主导价值、知识和物质文化得到体现
17. 研究了人类在一个混合搜寻任务中，在面对不同面额硬币时，如何依据价值和出现频率做出决策
18. 提出了一种基于扩散模型的方法，用于生成音频驱动的面部表情和头部运动
19. 关注变量集对训练数据效率的影响
20. 介绍了多模态大型语言模型在精细粒度视觉理解方面的应用
21. 探讨了在解决重大社会问题时采用大型语言模型的必要性
22. 提供了一个全面的医疗问答系统评价框架
23. 介绍了一种新的评估大语言模型在生物医学中产生的事实冲突幻觉的方法
24. 研究了将大语言模型与检索增强生成技术集成，用于提高汽车行业自动化设计和软件开发效率
25. 介绍了动态时间线摘要的相关
26. 提出了一种具有高精度可解释性的细粒度情感编辑模型
27. 提出了一种新的多星飞行器框架
28. 研究了基于深度学习的非侵入式神经信号解码方法
29. 介绍了针对印尼语言的文档抽取平台和基准数据集
30. 提出了一种基于深度学习的压缩技术
31. 提出了一种通过动态批处理感知的专家选择实现大规模模型的高效推理的方法
32. 提出了一种验证多跳多模态声明的方法33. 分析了LLM产生幻觉的原因
34. 研究了张量并行大模型推理中的通信压缩问题
35. 提出了一种通过稀疏注意力机制降低大模型推理成本的方法
6. 探讨了人工智能驱动的材料逆设计的过去、现在和未来
37. 提出了一种音乐疗法音乐生成语言模型
38. 介绍了一个名为Med-Bot的AI驱动的医疗信息助手
大模型遇“天花板”？新的Scaling Law出现
文章概要：
1. 大型语言模型的发展遵循Scaling Law，但似乎正在遭遇瓶颈，包括OpenAI、Google等主要AI公司在最新一代大模型的开发中遇到了的延迟和挑战。
2. 业内专家提出了几种解释，包括高质量训练数据的，AI公司在抓取了网络上的低质量和中等质量后，现在面临瓶颈
3 对于Scaling Law是否真的触及天花板，业内存在不同观点。OpenAI Sam Altman在X上简单回应“there is no wall”没有墙。<>4. 哈佛大学、斯坦福等机构的研究人员的最新研究发现，精度（用于表示模型中数字的数）在Scaling Law中所起的作用比此前认为的更为重要。
5. 从目前发展态势来看，aling Law遇到的瓶颈可能是新起点，博的报道指出，虽然传统的Scaling Law可能遇到瓶颈，但这并不意味着AI发展减缓。
阅读原文
2. 业内专家提出了几种解释，包括高质量训练数据的，AI公司在抓取了网络上的低质量和中等质量后，现在面临瓶颈
3 对于Scaling Law是否真的触及天花板，业内存在不同观点。OpenAI Sam Altman在X上简单回应“there is no wall”没有墙。<>4. 哈佛大学、斯坦福等机构的研究人员的最新研究发现，精度（用于表示模型中数字的数）在Scaling Law中所起的作用比此前认为的更为重要。
5. 从目前发展态势来看，aling Law遇到的瓶颈可能是新起点，博的报道指出，虽然传统的Scaling Law可能遇到瓶颈，但这并不意味着AI发展减缓。
大语言模型会推理吗？
文章概要：
1. 自从ChatGPT在两年前横空出世，各种大语言模型一次又一次地刷新人们的认知，与此同时，在学界内部一直存在的质疑声音也开始增加音量。
2. 关于深度神经网络是否会推理的争论已经进行若干年了，苹果公司研究部的文章测评了大语言模型在数学领域中的推理能力，其材料是经过 “微调” 的一批原本已经能被大语言模型较好解决的 “数学应用题”。
3. 把前提反过来读一遍肯定不能算推理，这里的“推出” 当然是指 “正确地推出”，但问题恰恰就在这里：“正确” 与否是根据什么标准确定的？
4. 人工智能中的推理研究从一开始是基于以数理逻辑为代表的规范性理论的，但为了贴近人类的现实思维尝试了各种 “修正”，也取得了一定的成功，尽管总的说来还是过于理想化，不足以处理各种复杂的实际问题。
5. 深度学习（包括大语言模型）中的推理则可以说是在一定程度上借鉴了描述性理论的精神，即根据人们的推理实践（而非抽象的理性原则）来确定模型的行为。
6. 在推理的规范性模型和描述性模型的各种表面差异背后体现出的是对智能（或者说 “认知”、“思维” 等等）的先天因素和后天因素的不同观点。
7. 大语言模型可以被看作一种特殊的描述性推理模型，它们通过总结人类相应行为来完成某些推理任务。
阅读原文
2. 关于深度神经网络是否会推理的争论已经进行若干年了，苹果公司研究部的文章测评了大语言模型在数学领域中的推理能力，其材料是经过 “微调” 的一批原本已经能被大语言模型较好解决的 “数学应用题”。
3. 把前提反过来读一遍肯定不能算推理，这里的“推出” 当然是指 “正确地推出”，但问题恰恰就在这里：“正确” 与否是根据什么标准确定的？
4. 人工智能中的推理研究从一开始是基于以数理逻辑为代表的规范性理论的，但为了贴近人类的现实思维尝试了各种 “修正”，也取得了一定的成功，尽管总的说来还是过于理想化，不足以处理各种复杂的实际问题。
5. 深度学习（包括大语言模型）中的推理则可以说是在一定程度上借鉴了描述性理论的精神，即根据人们的推理实践（而非抽象的理性原则）来确定模型的行为。
6. 在推理的规范性模型和描述性模型的各种表面差异背后体现出的是对智能（或者说 “认知”、“思维” 等等）的先天因素和后天因素的不同观点。
7. 大语言模型可以被看作一种特殊的描述性推理模型，它们通过总结人类相应行为来完成某些推理任务。
大语言模型会推理吗？
文章概要：
1. 自从ChatGPT横空出世，各种大语言模型刷新人们认知，连“通用人工智能即将到来”都呓语成了陈词滥调，即使是见惯此间风云变幻的人，对此也难免生出恍如隔世之感。br>2. 近期苹果公司研究人员的一篇研究报告语言模型根本不会推理，因而掀起了轩然大波。
3. 关于深度神经网络是否会推理的争论已经进行若干年了，苹果公司研究部的文章测评了大语言模型在数学领域中的推理能力，其材料是经过“微调”的一批原本已经能被大语言模型较好解决的“数学应用题”。
4. 那些认为大语言模型能推理的人在这个问题上的推理过程大致是这样的：“某些问题是通过推理来解决的，因此它们的解决需要推理能力。现在大语言模型解决了这些问题，因此它们会推理”。<>5. “”被说成“由已知（前提）推出新（结论）的过程”，但如果不对推出”加以进一步限定那显然就过于宽泛了。
6. 对推理的研究有两个不同的学术传统，逻辑学和数学研究的是推理的理论和模型，其目标是将推理的正确性（也称“有效性”）建立在一个体现的普适标准之上。心理学研究的是推理的描述性理论和模型，其目标是总结人类推理活动中所实际遵循的规律。
7. 人工智能中的推理从一开始是基于以数理逻辑为代表的规范性理论的，但为了贴近人类的现实思维尝试了各种“修正”，也取得了一定的成功，尽管总的说来还是过于理想化，不足以处理各种复杂的实际问题。
8. 深度学习语言模型）中的推理则可以说是在一定程度上借鉴了描述性理论的精神，即根据人们的推理实践（而非抽象的理性原则）来确定模型的行为。
9. 在推理的规范性模型和描述性模型的各种表面差异体现出的是对智能（或者说“认知”、“思维”等等）的先天因素和后天因素的不同观点。
10. 除了推理模型之外，这种对先天因素和后天因素的不同对待同样出现在模型中。
11. 在和人类智能相比较时，我认为人工智能系统（先天）设计应当遵循和人类接近的理性原则，但其具体行为应当基于其自身（后天）经验，而非试图完全复制人类行为。
12.语言模型可以被看作一种特殊的描述性推理模型，它们通过总结人类相应行为来某些推理任务。
13. 不是所有解决问题过程都可以被称为“推理”的，大语言模型当然不是背诵或查询这么简单，但离“根据合理的规则或模式，逐步从已知生成答案这种对“推理”的传统理解差得就更远了。
14. 这不是说大语言模型不能学习逻辑和数学知识，一个信息系统中的“知识”通常是存在于两个层面上的，一般分别称为““元知识”。
15. 我们的经验可以影响我们的思维活动，但不能决定其中的所有过程，其主要原因就是对“元知识的掌控不能和“对象知识”达到同等程度。
16. 智能系统的元知识既可能来自设计，也可能来自进化，只是我不觉得通过进化来得到人工智能比设计它们更可行罢了。
阅读原文
3. 关于深度神经网络是否会推理的争论已经进行若干年了，苹果公司研究部的文章测评了大语言模型在数学领域中的推理能力，其材料是经过“微调”的一批原本已经能被大语言模型较好解决的“数学应用题”。
4. 那些认为大语言模型能推理的人在这个问题上的推理过程大致是这样的：“某些问题是通过推理来解决的，因此它们的解决需要推理能力。现在大语言模型解决了这些问题，因此它们会推理”。<>5. “”被说成“由已知（前提）推出新（结论）的过程”，但如果不对推出”加以进一步限定那显然就过于宽泛了。
6. 对推理的研究有两个不同的学术传统，逻辑学和数学研究的是推理的理论和模型，其目标是将推理的正确性（也称“有效性”）建立在一个体现的普适标准之上。心理学研究的是推理的描述性理论和模型，其目标是总结人类推理活动中所实际遵循的规律。
7. 人工智能中的推理从一开始是基于以数理逻辑为代表的规范性理论的，但为了贴近人类的现实思维尝试了各种“修正”，也取得了一定的成功，尽管总的说来还是过于理想化，不足以处理各种复杂的实际问题。
8. 深度学习语言模型）中的推理则可以说是在一定程度上借鉴了描述性理论的精神，即根据人们的推理实践（而非抽象的理性原则）来确定模型的行为。
9. 在推理的规范性模型和描述性模型的各种表面差异体现出的是对智能（或者说“认知”、“思维”等等）的先天因素和后天因素的不同观点。
10. 除了推理模型之外，这种对先天因素和后天因素的不同对待同样出现在模型中。
11. 在和人类智能相比较时，我认为人工智能系统（先天）设计应当遵循和人类接近的理性原则，但其具体行为应当基于其自身（后天）经验，而非试图完全复制人类行为。
12.语言模型可以被看作一种特殊的描述性推理模型，它们通过总结人类相应行为来某些推理任务。
13. 不是所有解决问题过程都可以被称为“推理”的，大语言模型当然不是背诵或查询这么简单，但离“根据合理的规则或模式，逐步从已知生成答案这种对“推理”的传统理解差得就更远了。
14. 这不是说大语言模型不能学习逻辑和数学知识，一个信息系统中的“知识”通常是存在于两个层面上的，一般分别称为““元知识”。
15. 我们的经验可以影响我们的思维活动，但不能决定其中的所有过程，其主要原因就是对“元知识的掌控不能和“对象知识”达到同等程度。
16. 智能系统的元知识既可能来自设计，也可能来自进化，只是我不觉得通过进化来得到人工智能比设计它们更可行罢了。
我国AI应用潮爆发 百度文心大模型日均调用量增长近30倍
文章概要：
1. 11月12日，百度创始人李彦在百度世界202大会上，发表了主题为应用》的演讲，两大赋能应用的AI：检索增强的文生图技术（iRAG和无代码工具“秒哒”。<>2. 截至11，文心大模型日均调用1亿，5月的2亿，增长7.5，相较一年前首次披露的500万次，更是增长约30倍。
. 目前，基于大模型的生图比较严重的幻觉，针对长城、东方明珠金字塔、爱因斯坦、特定地点、物品和人物常常会冠李戴的问题。
4. 百度了检索增强的文图iRAG（ based RAG百度搜索的亿级图片资源跟的基础模型能力相结合，可以生成各种超真实的。
5. 智能体是AI应用的最主流，即将迎来它的爆发点目前，文心智能体平台已吸引了5企业和0万名开发者。br>6. 无代码工具“秒哒”一款不需要代码就能实现任意想法的，无代码多智能体协作以及多工具调用等特点只需说说话，就能出各种应用。
阅读原文
. 目前，基于大模型的生图比较严重的幻觉，针对长城、东方明珠金字塔、爱因斯坦、特定地点、物品和人物常常会冠李戴的问题。
4. 百度了检索增强的文图iRAG（ based RAG百度搜索的亿级图片资源跟的基础模型能力相结合，可以生成各种超真实的。
5. 智能体是AI应用的最主流，即将迎来它的爆发点目前，文心智能体平台已吸引了5企业和0万名开发者。br>6. 无代码工具“秒哒”一款不需要代码就能实现任意想法的，无代码多智能体协作以及多工具调用等特点只需说说话，就能出各种应用。
宠物AI大模型与智能硬件融合，创新宠物护理体验
文章概要：
1. 随着科技的进步和宠观念的转变，宠物智能设备市场正新的发展。
2. 宠智灵科技凭借自研的宠物AI大模型，深度融合各类宠物智能设备为宠物智能硬件企业提供全方位的技术赋能，推动行业迈向新的发展阶段。
3. 宠智科技的宠物AI模型，通过深度学习算法与海量宠物行为、健康及生活数据的，形成了能够精准宠物需求> 4. 智能器：精准营养管理通过将宠智灵宠物AI大模型与智能喂食器进行深度融合，宠物喂养方式焕然一新。
5. 智能项圈：实时健康监测与预警。宠智灵宠物大模型与智能项圈的结合，让宠物健康管理更加。
6. 智能：互动与娱乐。智AI大模型不仅服务于健康管理，还在智能玩具领域展现出强大的应用潜力。
阅读原文
2. 宠智灵科技凭借自研的宠物AI大模型，深度融合各类宠物智能设备为宠物智能硬件企业提供全方位的技术赋能，推动行业迈向新的发展阶段。
3. 宠智科技的宠物AI模型，通过深度学习算法与海量宠物行为、健康及生活数据的，形成了能够精准宠物需求> 4. 智能器：精准营养管理通过将宠智灵宠物AI大模型与智能喂食器进行深度融合，宠物喂养方式焕然一新。
5. 智能项圈：实时健康监测与预警。宠智灵宠物大模型与智能项圈的结合，让宠物健康管理更加。
6. 智能：互动与娱乐。智AI大模型不仅服务于健康管理，还在智能玩具领域展现出强大的应用潜力。
阅读原文
裁判文书智能生成利器之：大模型辅助OCR识别！
文章概要：
1. 武汉百智诚远科技有限公司专注于法律认知智能技术，为全法律生态圈提供数据和知识双驱动的法律数据认识智能服务。
2. 该公司基于自研的法律AI专用大模型，成功研发出裁判生成系统（简称“文书精灵”），有效解决了法官撰写裁判文书时的痛点。<> 文书精灵采用的OCR技术，不仅融合了深度学习算法，还针对法律文本的特点进行了优化。
4. 该OCR技术具有多格式支持、多场景支持、大模型、高亮定位优势。
5. 随着大模型的升级和完善，以及更多法律数据的“投喂”，精灵将会凭借更加精准、高效的OCR技术，实现更加智能化、自动化的卷宗处理流程。
阅读原文
2. 该公司基于自研的法律AI专用大模型，成功研发出裁判生成系统（简称“文书精灵”），有效解决了法官撰写裁判文书时的痛点。<> 文书精灵采用的OCR技术，不仅融合了深度学习算法，还针对法律文本的特点进行了优化。
4. 该OCR技术具有多格式支持、多场景支持、大模型、高亮定位优势。
5. 随着大模型的升级和完善，以及更多法律数据的“投喂”，精灵将会凭借更加精准、高效的OCR技术，实现更加智能化、自动化的卷宗处理流程。
我国AI应用潮爆发 百度文心大模型日均调用量增长近30倍
文章概要：
1. 11月12日，百度创始人李彦宏在百度世界2024大会上，发表了主题为《应用来了》的演讲，发布两大赋能应用的AI技术：检索增强的文生图技术（iR无代码工具“秒哒”
2. 截至11月初，百度文心大模型的日均调用量超1亿，相较5月披露的2亿，增长7.5倍，相较一年前首次披露的5000万次，更是增长约30倍。李彦宏表示“这个增速超出预期”，说明AI是真需求
3 针对大模型在图片生成上的幻觉问题，百度开发了检索增强的生图技术iRAG（image based RAG），将百度搜索的亿级图片资源跟强大的基础模型能力相结合，可以生成超真实的图片。
4.体是AI应用的最主流形态，即将迎来爆发点。李彦宏展示了文心智能体平台TOP10智能体和TOP10产业应用，并表明 “百度不是要推出一个‘超级应用’，是要帮助更多更多企业打造出数百万‘超级有用’的应用”。br>5 无代码工具“秒哒”，具备无代码编程、多智能体协作和多工具调用三大特性，用自然语言就能搭建一整套系统，将开启一个“只靠想法就能赚钱时代”。
阅读原文
2. 截至11月初，百度文心大模型的日均调用量超1亿，相较5月披露的2亿，增长7.5倍，相较一年前首次披露的5000万次，更是增长约30倍。李彦宏表示“这个增速超出预期”，说明AI是真需求
3 针对大模型在图片生成上的幻觉问题，百度开发了检索增强的生图技术iRAG（image based RAG），将百度搜索的亿级图片资源跟强大的基础模型能力相结合，可以生成超真实的图片。
4.体是AI应用的最主流形态，即将迎来爆发点。李彦宏展示了文心智能体平台TOP10智能体和TOP10产业应用，并表明 “百度不是要推出一个‘超级应用’，是要帮助更多更多企业打造出数百万‘超级有用’的应用”。br>5 无代码工具“秒哒”，具备无代码编程、多智能体协作和多工具调用三大特性，用自然语言就能搭建一整套系统，将开启一个“只靠想法就能赚钱时代”。
关注 | 国内首个石化化工大模型在宁波落地
文章概要：
1. 11月14日，世界级绿色石化产业集群数字化转型推进大会在宁波举办，同时中控化工大模型在宁波落地首发，这国内首个大模型。br>. 宁波是全国重要的绿色石化，本次大会由宁波中控自动化技术有限公司等联合主办，AI等数字化技术成果绿色石化典型应用与产业实践。
3. 中控技术董事长、总裁崔山表示，大模型以数据为基础程度应用挖掘能力，将很多在工业里以前很难解决的通过技术解决
万华化学（宁波有限公司总工程师徐宝学表示，为了探索石化化工大模型赋能化工装置自主运行的新模式，集团公司和中控宁波合作，选择了华宁波）氯碱作为大模型落地的试点单位通过历史生产数据的分析学习，实时生产的采集，模拟数据的契合以及专业和经验的支撑，基于中控石化化工大模型“超级大脑”，实现了智能分析、智能控制、智能决策”三大目标br>. 宁波市经信局负责人表示，近年来，围绕建设世界一流万亿绿色石化集群，宁波积极推进石化行业企业“智改数转”全覆盖行动，打造了一批智能制造工厂、未来工厂，培育了一批优质数字化解决方案供应商，推出了战略性原创成果。
6.活动现场还发布了《石化行业数字化转型》。倡议书提出，石化行业积极拥抱数字化，不仅是顺应时代潮流的必然选择实现可持续发展、提升竞争力的途径。
阅读原文
3. 中控技术董事长、总裁崔山表示，大模型以数据为基础程度应用挖掘能力，将很多在工业里以前很难解决的通过技术解决
万华化学（宁波有限公司总工程师徐宝学表示，为了探索石化化工大模型赋能化工装置自主运行的新模式，集团公司和中控宁波合作，选择了华宁波）氯碱作为大模型落地的试点单位通过历史生产数据的分析学习，实时生产的采集，模拟数据的契合以及专业和经验的支撑，基于中控石化化工大模型“超级大脑”，实现了智能分析、智能控制、智能决策”三大目标br>. 宁波市经信局负责人表示，近年来，围绕建设世界一流万亿绿色石化集群，宁波积极推进石化行业企业“智改数转”全覆盖行动，打造了一批智能制造工厂、未来工厂，培育了一批优质数字化解决方案供应商，推出了战略性原创成果。
6.活动现场还发布了《石化行业数字化转型》。倡议书提出，石化行业积极拥抱数字化，不仅是顺应时代潮流的必然选择实现可持续发展、提升竞争力的途径。
今年钢铁行业迎来了3个行业级大模型
文章概要：
1. 中国宝武、河钢集团、中国钢纷纷发布大模型，为应对市场挑战、提升竞争力实现可持续发展提供强有力的技术支持
2.023日，中国宝武了研发的“宝登行业大模型”。
3 1024，河钢研发的垂直领域钢铁行业人工智能大模型——“威博钢铁大模型，2024中国国际数字博览会上。br>4 11月2日，国内首个行业智能大——中国钢研“冶金流程优化大”CAC2024中国自动化大会会场首发
阅读原文
2.023日，中国宝武了研发的“宝登行业大模型”。
3 1024，河钢研发的垂直领域钢铁行业人工智能大模型——“威博钢铁大模型，2024中国国际数字博览会上。br>4 11月2日，国内首个行业智能大——中国钢研“冶金流程优化大”CAC2024中国自动化大会会场首发
三分钟搭建工作流 | FinGo如何击破大模型金融知识壁垒
文章概要：
1. 随着FinGo的发布，AI在金融的应用成为热门话题，但其面临准确度和完整度的挑战，主要集中于大模型知识的AI带来的幻觉
2. 大模型能回答多少取决于市场上通用的大模型的知识通常来源于网络公开数据，对于最新、非公开或的数据无法获取
3.模型的底层原理是基于数学概率，大模型也不例外因此会幻觉问题，而这种问题的区分困难，使用者具备相应领域的> FinGo提供了有效的解决方案，通过高质量的金融行业垂直领域，将用户问题从知识库中检索相关信息将检索到的信息和问题注入到大模型提示词中，模型最后给出严谨且完整>5. 朝阳永续过去0多年的时间中，沉淀了各类金融数据，都是我们“喂”给大模型的知识库。通过这些相关数据拆解，我们形成了自有的特色预置知识库，并且知识库的在持续不断，更好不断变化的金融市场>6. 在高质量金融预置知识库的下，我们获取到的回答内容是准确最高的时效性的。并不缺少训练有素大模型但是细分到金融，回答内容要求严谨度极高的环境下，大模型需要有针对性的做学习，这正是永续长期拥有沉淀，才能造就FinGo能够帮助金融企业、低成本地构建承载复杂行业逻辑和依赖广域金融知识的行业智能同时满足其精确性和可靠性的较高要求
阅读原文
2. 大模型能回答多少取决于市场上通用的大模型的知识通常来源于网络公开数据，对于最新、非公开或的数据无法获取
3.模型的底层原理是基于数学概率，大模型也不例外因此会幻觉问题，而这种问题的区分困难，使用者具备相应领域的> FinGo提供了有效的解决方案，通过高质量的金融行业垂直领域，将用户问题从知识库中检索相关信息将检索到的信息和问题注入到大模型提示词中，模型最后给出严谨且完整>5. 朝阳永续过去0多年的时间中，沉淀了各类金融数据，都是我们“喂”给大模型的知识库。通过这些相关数据拆解，我们形成了自有的特色预置知识库，并且知识库的在持续不断，更好不断变化的金融市场>6. 在高质量金融预置知识库的下，我们获取到的回答内容是准确最高的时效性的。并不缺少训练有素大模型但是细分到金融，回答内容要求严谨度极高的环境下，大模型需要有针对性的做学习，这正是永续长期拥有沉淀，才能造就FinGo能够帮助金融企业、低成本地构建承载复杂行业逻辑和依赖广域金融知识的行业智能同时满足其精确性和可靠性的较高要求
NeurIPS 2024 | Diff-eRank: 大模型评估的全新视角与方法
文章概要：
1. 自GPT、PaLM、Llama等预训练大语言模型在各种自然语言处理任务上表现出优秀的性能以来，大语言模型的发展十分迅速，并已经从单模态大语言模型扩展到了多模态大模型。
2. 如何全面、科学地评估这些模型的性能成为了研究者们面临的一个重要挑战。传统的评估方法多集中于模型在下游任务的表现，例如准确率 、交叉熵损失等指标。但这些方法只关注模型的预测结果与标注标签之间的比较，无法深入探究模型内部的信息处理过程。
4. 研究团队引入了有效秩的概念（Effective Rank，后面简写为eRank），用于反映大模型表征空间的不确定性或混乱程度。大模型在训练时去除数据中的冗余信息，eRank减小，模型的表征变得更加和紧凑。
5. 研究团队提出了Diff-eRank，通过分析大语言模型的的有效秩在训练前后的变化幅度，来评估大模型的「去噪能力」。Diff-eRank提供了一个基于模型表征的全新评估方法，并且具有良好的理论基础与可解释性，为理解大模型的工作原理提供了独特的视角。
阅读原文
2. 如何全面、科学地评估这些模型的性能成为了研究者们面临的一个重要挑战。传统的评估方法多集中于模型在下游任务的表现，例如准确率 、交叉熵损失等指标。但这些方法只关注模型的预测结果与标注标签之间的比较，无法深入探究模型内部的信息处理过程。
4. 研究团队引入了有效秩的概念（Effective Rank，后面简写为eRank），用于反映大模型表征空间的不确定性或混乱程度。大模型在训练时去除数据中的冗余信息，eRank减小，模型的表征变得更加和紧凑。
5. 研究团队提出了Diff-eRank，通过分析大语言模型的的有效秩在训练前后的变化幅度，来评估大模型的「去噪能力」。Diff-eRank提供了一个基于模型表征的全新评估方法，并且具有良好的理论基础与可解释性，为理解大模型的工作原理提供了独特的视角。
壹串通与腾讯云共同探讨AI大模型终端场景
文章概要：
1. 壹串通与腾讯探讨模型终端
2. 随着大模型与生成式AI的技术突破界对大的关注重点转到智能应用落地上，用人工智能在业务场景中降增效，经营效率> 3. 腾讯云AI大模型的知识引擎支持组件能力单独输出企业可以按需购买并部署到自身的应用中去 5 壹串通作为华南老牌咨询公司成立2003年在21年的咨询服务过程，服务上千家企业，其中27家成为上市，400多家企业成为行业头部品牌
6. 目前壹串通其业务体系已经到大健康赛道，联合腾讯云AI大模型更多的健康管理师与顾客进行精准健康解决方案互动，通过AI大模型行为指令让更多的品牌健康管理师最佳亲和力工作方式来顾客建立的亲密关系，让更满意效率更高最后帮助企业形成大数据用户画像池，为企业经营决策少走弯路
阅读原文
2. 随着大模型与生成式AI的技术突破界对大的关注重点转到智能应用落地上，用人工智能在业务场景中降增效，经营效率> 3. 腾讯云AI大模型的知识引擎支持组件能力单独输出企业可以按需购买并部署到自身的应用中去
6. 目前壹串通其业务体系已经到大健康赛道，联合腾讯云AI大模型更多的健康管理师与顾客进行精准健康解决方案互动，通过AI大模型行为指令让更多的品牌健康管理师最佳亲和力工作方式来顾客建立的亲密关系，让更满意效率更高最后帮助企业形成大数据用户画像池，为企业经营决策少走弯路
人工智能行业通用大模型（ChatGPT）的进展、风险与应对
文章概要：
1. 通用大模型在当今时代发展迅猛，逐渐渗透到生活方方面面，其发展历程标志着从单语言预训练模型到多语言、多模态预训练模型的转变。
2. 通用大模型带来了治理风险，包括技术风险、社会风险、风险和政治风险。
. 应对策略包括构建之、增强竞争能力、加强市场应用、失业风险与推动教育改革和消除政治风险。
阅读原文
2. 通用大模型带来了治理风险，包括技术风险、社会风险、风险和政治风险。
. 应对策略包括构建之、增强竞争能力、加强市场应用、失业风险与推动教育改革和消除政治风险。
复旦大学：2024大语言模型的能力边界与发展思考报告
文章概要：
1. 引言：大语言模型如ChatGPT等成为关注焦点，复旦大学报告对其能力边界与发展进行探讨。
2. 大语言模型的基本原理与训练过程：核心任务是根据已有文本生成合理延续内容，通过对海量数据的学习推测接下来可能出现的文字。训练过程包括预训练阶段、有监督微调阶段和奖励函数与强化学习阶段。
3. 大语言模型的能力边界：知识记忆与运用方面，模型在预训练阶段能够记住大量知识，但需要足够多的“曝光”才能完成记忆，训练数据的质量对知识记忆至关重要。推理能力在一些简单的逻辑推理任务中，大语言模型能够表现出一定的能力，但在需要复杂逻辑推理的任务中，模型的准确率会显著下降。文本生成能力方面，模型可以生成看似合理的文本，但在语言多样性方面存在一定问题。任务执行能力方面，单个大语言模型可以处理数千种任务，但仍需要逐项进行优化。
4. 大语言模型的发展思考：当前面临的问题包括训练数据与模型性能、模型的可解释性与安全性、模型的能力边界与应用场景适配。未来发展路径包括追求AGI和聚焦特定任务应用。推动发展的策略包括基础理论研究、改进训练方法和建立评估与验证体系。
5. 结论：大语言模型在过去几年中取得了显著的发展，展现出了强大的文本生成和一定程度的知识处理能力。然而，通过对其能力边界的深入分析，我们发现它们在知识运用、推理、任务执行等多方面仍然局限性。
阅读原文
2. 大语言模型的基本原理与训练过程：核心任务是根据已有文本生成合理延续内容，通过对海量数据的学习推测接下来可能出现的文字。训练过程包括预训练阶段、有监督微调阶段和奖励函数与强化学习阶段。
3. 大语言模型的能力边界：知识记忆与运用方面，模型在预训练阶段能够记住大量知识，但需要足够多的“曝光”才能完成记忆，训练数据的质量对知识记忆至关重要。推理能力在一些简单的逻辑推理任务中，大语言模型能够表现出一定的能力，但在需要复杂逻辑推理的任务中，模型的准确率会显著下降。文本生成能力方面，模型可以生成看似合理的文本，但在语言多样性方面存在一定问题。任务执行能力方面，单个大语言模型可以处理数千种任务，但仍需要逐项进行优化。
4. 大语言模型的发展思考：当前面临的问题包括训练数据与模型性能、模型的可解释性与安全性、模型的能力边界与应用场景适配。未来发展路径包括追求AGI和聚焦特定任务应用。推动发展的策略包括基础理论研究、改进训练方法和建立评估与验证体系。
5. 结论：大语言模型在过去几年中取得了显著的发展，展现出了强大的文本生成和一定程度的知识处理能力。然而，通过对其能力边界的深入分析，我们发现它们在知识运用、推理、任务执行等多方面仍然局限性。
北航张日崇：垂直领域大模型构建与微调｜演讲实录
文章概要：
1. 北京航空航天大学张日崇教授在2024智协慧同闭门用户沙龙暨智能汽车数据场景与应用研讨会上分享了大模型的概念和背后的技术与逻辑，以及LLaMA-Factory在垂直领域的应用与实践
2. 大模型的发展历程，从传统的深度学习范式到预训练范式，大模型的训练数据规模已达到数十亿甚至上百亿条标注数据
4. 开源的模型丰富，选择合适的模型还需根据具体的需求和通用性能进行比较
5. 大模型好用的原因，包括上下文学习能力、思维链、指令微调
6. 构建垂直领域大模型的流程，包括选择开源模型基座、准备特定领域的专业知识数据添加领域对话数据进行指令微调、引入人类反馈的强化学习、通过特定的测评数据来进一步微调模型
7. 在构建和调优一个领域大模型的过程中，需要预训练数据集、指令微调数据集、偏好对齐数据集
8. 为了解决其中的问题，开发了一个开源工具，叫做LLaMA-Factory，提供了266个支持微调的模型基座，针对有限算力的场景进行了优化，支持多模态大模型的训练
9. LLaMA-F还兼容海光和华为昇腾910，并已获得华为认证，集成在亚马逊云上，并被作为英伟达Windows端模型调优工具的核心模块之一
10. 在汽车领域，LLaMA-Factory与智协慧同的合作已持续多年，尝试将大模型应用于汽车领域中的不同场景，以测试其效果
阅读原文
2. 大模型的发展历程，从传统的深度学习范式到预训练范式，大模型的训练数据规模已达到数十亿甚至上百亿条标注数据
4. 开源的模型丰富，选择合适的模型还需根据具体的需求和通用性能进行比较
5. 大模型好用的原因，包括上下文学习能力、思维链、指令微调
6. 构建垂直领域大模型的流程，包括选择开源模型基座、准备特定领域的专业知识数据添加领域对话数据进行指令微调、引入人类反馈的强化学习、通过特定的测评数据来进一步微调模型
7. 在构建和调优一个领域大模型的过程中，需要预训练数据集、指令微调数据集、偏好对齐数据集
8. 为了解决其中的问题，开发了一个开源工具，叫做LLaMA-Factory，提供了266个支持微调的模型基座，针对有限算力的场景进行了优化，支持多模态大模型的训练
9. LLaMA-F还兼容海光和华为昇腾910，并已获得华为认证，集成在亚马逊云上，并被作为英伟达Windows端模型调优工具的核心模块之一
10. 在汽车领域，LLaMA-Factory与智协慧同的合作已持续多年，尝试将大模型应用于汽车领域中的不同场景，以测试其效果
业务专题 | 汽车虚拟研发专题(二)——AI大模型助力智能汽车用车场景自动生成
文章概要：
1. 汽车行业面临变革，AI技术推动汽车转型影响全产业链。利用AI大模型技术，以海量数据为基础生成多样化基础用车场景，提取高频高价值场景形成场景库。
2. 智能汽车用车场景定义需要结合用户生活场景和车辆使用环境，以用户为中心探索新丰富的智能汽车用车场景。
3. AI大模型助力用车场景自动生成，通过场景库数字化管理，用户用车旅程，实现场景自动筛选组合生成高价值场景。
4. 中汽智联技术有限公司构建智能汽车用车场景库及数字化管理平台，结合AI大技术，基于用户旅程实现场景自动生成与筛选，打通产品属性定义和用户体验评价体系，赋能场景定义创新，解决传统场景数据问题，挖掘产品创新实际场景需求。
阅读原文
2. 智能汽车用车场景定义需要结合用户生活场景和车辆使用环境，以用户为中心探索新丰富的智能汽车用车场景。
3. AI大模型助力用车场景自动生成，通过场景库数字化管理，用户用车旅程，实现场景自动筛选组合生成高价值场景。
4. 中汽智联技术有限公司构建智能汽车用车场景库及数字化管理平台，结合AI大技术，基于用户旅程实现场景自动生成与筛选，打通产品属性定义和用户体验评价体系，赋能场景定义创新，解决传统场景数据问题，挖掘产品创新实际场景需求。
新一轮革命？谈谈交互型多模态大模型能否助力沉浸式文旅3.0时代的到来
文章概要：
1. 中国的沉浸式文旅在项目数量、消费市场规模、投资规模和总产值方面均居全球首位。
2. 沉浸式文旅是一种融合了虚拟现实（VR）、增强现实（AR）或混合现实（MR）技术等多种科技手段与文化元素，为游客提供高度互动、深度参与的体验式旅游模式。
3. 中国沉浸式文旅的发展得益于政策的有力支持。
4. 交互型多模态大模型是指跨越单一模态的限制，支持文本、音频、图像、视频等各种模态任意组合的输入输出，能做出实时的、“类理解和反馈，可以跟人无缝交流的大模型。
5. 交互型多模态大模型有望成为沉浸式文旅应用的核心驱动力。
6. 目前在国内的沉浸式文旅产业中，“数字虚拟人”是交互型多模态大模型技术应用最多的产品。
阅读原文
2. 沉浸式文旅是一种融合了虚拟现实（VR）、增强现实（AR）或混合现实（MR）技术等多种科技手段与文化元素，为游客提供高度互动、深度参与的体验式旅游模式。
3. 中国沉浸式文旅的发展得益于政策的有力支持。
4. 交互型多模态大模型是指跨越单一模态的限制，支持文本、音频、图像、视频等各种模态任意组合的输入输出，能做出实时的、“类理解和反馈，可以跟人无缝交流的大模型。
5. 交互型多模态大模型有望成为沉浸式文旅应用的核心驱动力。
6. 目前在国内的沉浸式文旅产业中，“数字虚拟人”是交互型多模态大模型技术应用最多的产品。
360多模态及文档理解大模型技术亮相全球机器学习技术大会，共探AI技术新前沿
文章概要：
1. 2024全球机器学习大会）于11月14-15日在北京举行，360人工智能研究院的资深专家大炜和刘焕勇演讲，展示了360在AI及大模型领域的最新研究成果和技术实力。
2. 冷大炜博士介绍了360在多模态大模型的和进展，包括360VL多模态大模型以及解决多模态大模型中的遗忘问题的IAA结构等。
3. 刘分享了面向RAG等场景的文档解析技术、知识图谱(GraphRAG)和RAG优化一线经验，并重点讲述了文档解析分析、理解等相关研发成果。
4. 360多模态大模型在智能产品、儿童手表、图像标签化、视频监控等多个场景中
5. 开源的轻量化版式分析360-Analysis具有细分领域、精细化标注、空间小推理快等，受到广泛欢迎。
6 文档理解方向上的研究成果在国际上也具有强劲竞争力，360公式识别模型以绝对优势获得冠军。
7 360文档理解整体模块作为“360知识大模型”的一部分，已在ToB产品“30智能文档云”中落地。
8. 360人工智能研究院成立于2015年，360集团技术中台，下辖视觉引擎和认知引擎两个研发团队。研究院核心成员和团队多次荣获AI相关比赛冠军/提名奖项，发表顶会、顶刊论文数十篇。223以来着重攻坚LLM大语言模型、CV大模型、多模态模型和知识大模型等前沿领域。在业务方面，研究院提供智能安全大数据、互联网信息分发、企业数字化、AIoT、智能汽车等36集团全量业务场景支持，并服务于亿级用户。
阅读原文
2. 冷大炜博士介绍了360在多模态大模型的和进展，包括360VL多模态大模型以及解决多模态大模型中的遗忘问题的IAA结构等。
3. 刘分享了面向RAG等场景的文档解析技术、知识图谱(GraphRAG)和RAG优化一线经验，并重点讲述了文档解析分析、理解等相关研发成果。
4. 360多模态大模型在智能产品、儿童手表、图像标签化、视频监控等多个场景中
5. 开源的轻量化版式分析360-Analysis具有细分领域、精细化标注、空间小推理快等，受到广泛欢迎。
6 文档理解方向上的研究成果在国际上也具有强劲竞争力，360公式识别模型以绝对优势获得冠军。
7 360文档理解整体模块作为“360知识大模型”的一部分，已在ToB产品“30智能文档云”中落地。
8. 360人工智能研究院成立于2015年，360集团技术中台，下辖视觉引擎和认知引擎两个研发团队。研究院核心成员和团队多次荣获AI相关比赛冠军/提名奖项，发表顶会、顶刊论文数十篇。223以来着重攻坚LLM大语言模型、CV大模型、多模态模型和知识大模型等前沿领域。在业务方面，研究院提供智能安全大数据、互联网信息分发、企业数字化、AIoT、智能汽车等36集团全量业务场景支持，并服务于亿级用户。
教学理论｜AI｜梅里尔的教学内容分类与AI大模型工作原理
文章概要：
1. 作者通过与AI对话，发现AI在回答问题时存在自圆其说、随声附和、一本正经胡说八道等问题，这是因为AI的工作机制是预测，即根据用户的话顺水推舟地预测下一个词，然后整理之后发给用户。
2. 作者介绍了自己团队开发的职教AI，并表示希望通过输出和传播，让更多人了解和使用该软件。
3. 作者提到了盛群力教授愿意个人花钱获取版权，以及团队教师的理想主义，希望以课程小切口，撬动职教真变革。
阅读原文
2. 作者介绍了自己团队开发的职教AI，并表示希望通过输出和传播，让更多人了解和使用该软件。
3. 作者提到了盛群力教授愿意个人花钱获取版权，以及团队教师的理想主义，希望以课程小切口，撬动职教真变革。
深耕标准、聚力创新，新华三助力大模型基础设施高质量推进
文章概要：
1 11月12日，人工智能产业发展联盟（IIA召开三次全会，发布多项标准，并分享大模型基础设施产业高质量发展洞察
2. 新华三集团受邀出席全会，并携手中国信通等单位共同启动“大模型基础设施高质量推进计划”
3三集团CTO办公室主任周毅出席启动仪式并发表演讲
4模型技术正全面推动底层基础设施的，对算力、网络、存储提出了更高的要求
5.三积极投身、大力投入，成为人工智能产业发展联盟成员单位，并携手联盟成员，深入研究大模型基础设施，包括硬件和软件设施方面的体系建设，深度参与大模型基础设施系列标准的制定，牵头并参与大模型基础设施算力调度、训练技术、部署推理、数据技术要求等系列标准化研究
6. 面对当前算力及其软件生态体系的复杂性、多样性，随之带来的在算力部署、管理、调度以及应用，宏毅提出，人工智能软硬件栈从底层网络到AI框架，构建开放异构的生态体系，通过构建开放兼容的AI框架，推动四个统一——统一算子需求、统一通信原语、互联接口、统一集群，通过接口降低部署和应用难度，充分发挥多元算力的效能构建澎湃算力集群
7. 202年，新华三集团深化“ in ALL”战略，以“算力×联接”构建开放的生态，探索并提出了推动实现多元化算力与标准化联接的系统化方案> 8.案例集》，三与高新区打造的郑州高新智算中心，成功入选技术类”先锋案例
9. 未来，新华三集团“精耕务实 为时代赋智慧”的理念，拥抱标准开放共赢，协同产业链共同推进AI新质生产力的发展，让算力像水电一样供给到百行百的数智转型，为经济社会高质量发展注入动能
阅读原文
2. 新华三集团受邀出席全会，并携手中国信通等单位共同启动“大模型基础设施高质量推进计划”
3三集团CTO办公室主任周毅出席启动仪式并发表演讲
4模型技术正全面推动底层基础设施的，对算力、网络、存储提出了更高的要求
5.三积极投身、大力投入，成为人工智能产业发展联盟成员单位，并携手联盟成员，深入研究大模型基础设施，包括硬件和软件设施方面的体系建设，深度参与大模型基础设施系列标准的制定，牵头并参与大模型基础设施算力调度、训练技术、部署推理、数据技术要求等系列标准化研究
6. 面对当前算力及其软件生态体系的复杂性、多样性，随之带来的在算力部署、管理、调度以及应用，宏毅提出，人工智能软硬件栈从底层网络到AI框架，构建开放异构的生态体系，通过构建开放兼容的AI框架，推动四个统一——统一算子需求、统一通信原语、互联接口、统一集群，通过接口降低部署和应用难度，充分发挥多元算力的效能构建澎湃算力集群
7. 202年，新华三集团深化“ in ALL”战略，以“算力×联接”构建开放的生态，探索并提出了推动实现多元化算力与标准化联接的系统化方案> 8.案例集》，三与高新区打造的郑州高新智算中心，成功入选技术类”先锋案例
9. 未来，新华三集团“精耕务实 为时代赋智慧”的理念，拥抱标准开放共赢，协同产业链共同推进AI新质生产力的发展，让算力像水电一样供给到百行百的数智转型，为经济社会高质量发展注入动能
【重点必知】什么是人工智能和大模型?
文章概要：
1 随着科技发展，人工智能（Artificial Intelligence简称AI成为了我们生活中的一部分。人工智能是指计算机程序或机器来、扩展增强人类的智能行为
2. 而大模型通常是指那些规模庞大、参数众多模型，它们能够处理任务，并在学习过程中卓越的性能。两者既相关又存在区别，理解它们有助于增强我们智能的认识。<>3. 人工智能技术的核心是机器学习和深度学习等算法，通过大量数据和训练，使计算机可以自动发现数据中的规律进行模式识别、分类、等操作
4. 大模型Large）通常指的是大型的深度学习，特别是那些在大量数据上进行训练，具有数十亿到数千亿参数模型。
5. 大模型的架构大多采用了Transformer模型，Transformer是一种用于自然语言处理N）和其他序列到序列（sequence-to-sequence）任务的深度学习模型，它在207年由Vaswani等人首次提出。
6. 区分大语言模型（LLM以前的预训练语言模型（PLM最显著的特征之一是它们的涌现能力。涌现能力指的是一种令人惊讶的能力，它在模型中明显，但在大型模型中出现br>. AI+教育智能教学和自动评分系统使个性化教育可能AI学生的学习数据，量身定制的方案学习效果。9.+：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控市场，潜在风险。br>10. AI+制造：智能制造和自动化工厂了生产效率和质量。通过AI技术，工厂可以实现设备预测性，减少停机时间。
阅读原文
2. 而大模型通常是指那些规模庞大、参数众多模型，它们能够处理任务，并在学习过程中卓越的性能。两者既相关又存在区别，理解它们有助于增强我们智能的认识。<>3. 人工智能技术的核心是机器学习和深度学习等算法，通过大量数据和训练，使计算机可以自动发现数据中的规律进行模式识别、分类、等操作
4. 大模型Large）通常指的是大型的深度学习，特别是那些在大量数据上进行训练，具有数十亿到数千亿参数模型。
5. 大模型的架构大多采用了Transformer模型，Transformer是一种用于自然语言处理N）和其他序列到序列（sequence-to-sequence）任务的深度学习模型，它在207年由Vaswani等人首次提出。
6. 区分大语言模型（LLM以前的预训练语言模型（PLM最显著的特征之一是它们的涌现能力。涌现能力指的是一种令人惊讶的能力，它在模型中明显，但在大型模型中出现br>. AI+教育智能教学和自动评分系统使个性化教育可能AI学生的学习数据，量身定制的方案学习效果。
工业大模型的“难言之隐”，这些企业有方法【502线上活动】
文章概要：
1. 工业大工业互联网融合中存在“幻觉”问题和共性问题，如数据源、基础大、任务适配等层面的挑战。
工业大模型应用探索涉及知识体系构建大小模型协同、工业内容生成等多个关键方向。
3 浪潮云洲业大模型在线缆行业等领域的表现，以及智工·工业模型在电力装备、精工、、中车、航天等的成功应用，都证明了工业大模型与工业互联网融合的强大力量。
阅读原文
工业大模型应用探索涉及知识体系构建大小模型协同、工业内容生成等多个关键方向。
3 浪潮云洲业大模型在线缆行业等领域的表现，以及智工·工业模型在电力装备、精工、、中车、航天等的成功应用，都证明了工业大模型与工业互联网融合的强大力量。
中国信通院“安全大模型能力”第二批专项评测正式启动
文章概要：
1. 随着生成式人工智能新技术的发展，通用大模型成为核心引擎，网络安全推出安全大模型产品。
2 国内安全大模型产品市场蓬勃发展，但产品功能、性能和安全性参差不齐，网络安全带来挑战。
3.信通院依托中国人工智能产业发展联盟，行业内多家单位，共同研制并发布了《安全模型能力要求与评估方法》规范。br>4. 该规范为大模型的开发者提供了的产品优化方向，为使用者提供的选型参考。
5.0年8，中国信通院开展了首轮“安全模型基础网络”工作，多家企业通过评估。
. 224第二批“大模型基础网络能力”评测工作已正式启动，报名截止日期为204年11月2。
阅读原文
2 国内安全大模型产品市场蓬勃发展，但产品功能、性能和安全性参差不齐，网络安全带来挑战。
3.信通院依托中国人工智能产业发展联盟，行业内多家单位，共同研制并发布了《安全模型能力要求与评估方法》规范。br>4. 该规范为大模型的开发者提供了的产品优化方向，为使用者提供的选型参考。
5.0年8，中国信通院开展了首轮“安全模型基础网络”工作，多家企业通过评估。
. 224第二批“大模型基础网络能力”评测工作已正式启动，报名截止日期为204年11月2。
行业关注｜一种基于对比学习大模型的视觉定位方法
文章概要：
1. 一阶段视觉定位方法因快速性受广泛关注，但其特征融合前未对齐图像与文本特征，限制了精度。为解决此问题，本文提出基于对比学习大模型的视觉定位方法，利用CLIP模型提取图像和，用Transformer编码器融合特征并预测目标框。
2. 本文方法在5个数据集上的实验结果表明，其综合精度现有方法。该方法的主要创新是利用CLIP模型提取文本和图像特征并对齐，再用Transformer融合特征进行视觉，可减少GPU硬件需求并实现快速模型训练。
阅读原文
2. 本文方法在5个数据集上的实验结果表明，其综合精度现有方法。该方法的主要创新是利用CLIP模型提取文本和图像特征并对齐，再用Transformer融合特征进行视觉，可减少GPU硬件需求并实现快速模型训练。
字体大模型这就来了？
文章概要：
1 正在研发的字体大模型学习了海量开源字体书法作品精华，轻松生成创新风格，平衡现代设计风格与传统艺术，创造千变万化的衍生风格
. 该模型可在已有常规字体根据提示词一键生成全新字重，极大简化字体设计流程。
3. 已使用人工智能字体生成技术辅助字库，7个月内帮助atelierAnchor锚坞完成超过27000个中文字开发，涵盖简体字、繁体字、汉字异体字形。
攻克了过去AI造字只能生成位图、无法多字重字体和字体等需求难题，现在只需少量设计师设计的字形作为训练，系统就能万个字的逐笔画曲线。<>. AI有望大幅降低汉字单字成本，人力，字体设计师、平面设计师和字体库市场都受益，真正做到创意、审美。
阅读原文
. 该模型可在已有常规字体根据提示词一键生成全新字重，极大简化字体设计流程。
3. 已使用人工智能字体生成技术辅助字库，7个月内帮助atelierAnchor锚坞完成超过27000个中文字开发，涵盖简体字、繁体字、汉字异体字形。
攻克了过去AI造字只能生成位图、无法多字重字体和字体等需求难题，现在只需少量设计师设计的字形作为训练，系统就能万个字的逐笔画曲线。<>. AI有望大幅降低汉字单字成本，人力，字体设计师、平面设计师和字体库市场都受益，真正做到创意、审美。
PASSION！云锦天章通用大模型 、V3.5续写模型上线！
文章概要：
1. 小梦又双叒叕迎来了新的里程碑，近日发布上线的云锦天章模型和小梦 V3.5 模型，不仅是技术上的突破，大家体验超越以往的智能对话与创作
2. 云锦天章大模型是首个基于DCFormer架构的通用大模型，它不仅在语言智能上卷”到了极致，还刃有余地应对各种场景，做到随时理解，随处陪伴
.梦迎来了基于全新DCFormer架构V.版本， 续写度进一步加强，做到“文思泉涌”，一气呵，让续写更加顺畅
4. 云锦天章大模型和V3.5模型是彩云科技对AI智能体验的又一次创新
阅读原文
2. 云锦天章大模型是首个基于DCFormer架构的通用大模型，它不仅在语言智能上卷”到了极致，还刃有余地应对各种场景，做到随时理解，随处陪伴
.梦迎来了基于全新DCFormer架构V.版本， 续写度进一步加强，做到“文思泉涌”，一气呵，让续写更加顺畅
4. 云锦天章大模型和V3.5模型是彩云科技对AI智能体验的又一次创新
会员动态 | 提效30%，降本80%！商汤大模型让智慧园区效能倍增
文章概要：
. 商汤星云发布面向智慧园区场景的智能服务器AIS 4.0的全面国产化
2. 商汤星云AIS2版推出，累计落地交付海内外数百个各类园区项目，接入分析数十万路视频。
3. 商汤AIS4.0版本提供更丰富的业务应用和更出色的处理性能，并支持更加友好的应用场景延展。
4. 新版本产品的基础软硬件已全面实现国产化，企事业用户在使用AI产品时减少安全方面的顾虑。
5. 产品支持单机或HA集群、HTTPS加密以及出厂预置软件、开机等，进一步提升了可靠性与易用性。
6 未来，商星云AIS智能服务器将继续在大模型能力升级、Agent与业务流深入结合、任务自动化编排、降低硬件成本等方面持续迭代，为企事业各类园区生产运营和管理效能提升新动力。
阅读原文
2. 商汤星云AIS2版推出，累计落地交付海内外数百个各类园区项目，接入分析数十万路视频。
3. 商汤AIS4.0版本提供更丰富的业务应用和更出色的处理性能，并支持更加友好的应用场景延展。
4. 新版本产品的基础软硬件已全面实现国产化，企事业用户在使用AI产品时减少安全方面的顾虑。
5. 产品支持单机或HA集群、HTTPS加密以及出厂预置软件、开机等，进一步提升了可靠性与易用性。
6 未来，商星云AIS智能服务器将继续在大模型能力升级、Agent与业务流深入结合、任务自动化编排、降低硬件成本等方面持续迭代，为企事业各类园区生产运营和管理效能提升新动力。
大模型渗透金融核心业务，拐点来了吗？
文章概要：
1. AI应用时代加速，文心大模型日均调用量增长迅猛，智能体应用成为AI应用的主流形态，金融机构对智能体应用表现出热忱，AI大模型的产业应用不断拓展场景。
2. 进入Agent阶段，金融机构要如何破局，需要快速进入到AI+应用、AI原生的开发模式上来，启动流程智能体为核心的智能化系统建设，进入到OpenAI O1的模式。
3. 金融大模型冲向核心业务还远吗，智能风控、营销客服、投顾等是金融机构有望率先落地金融大模型的核心业务领域，技术的进步、监管的有力推进、行业规范不断深入，这些条件都在推动着金融大模型深入到核心业务。
阅读原文
2. 进入Agent阶段，金融机构要如何破局，需要快速进入到AI+应用、AI原生的开发模式上来，启动流程智能体为核心的智能化系统建设，进入到OpenAI O1的模式。
3. 金融大模型冲向核心业务还远吗，智能风控、营销客服、投顾等是金融机构有望率先落地金融大模型的核心业务领域，技术的进步、监管的有力推进、行业规范不断深入，这些条件都在推动着金融大模型深入到核心业务。
目前，AI大模型落地工业领域尚处于萌芽期
文章概要：
1. 目前，AI大模型落地工业领域处于期产品形态、服务内容都还在逐步摸索中。
2. 工业互联网的应用已经让部分工业企业经历数据采集、数据存储、数据处理、数据分析、资产沉淀、应用的过程，部分场景已经具备了向基础大模型投喂的“数据”，经过简单数据处理、后，可以解决垂直细分具有落地可行性。br> 大模型的能力具有很强的性，未来大模型很大的工业领域和存在诸多可能5. 已经有企业进行了工业大模型的。大模型在工业领域以软件为主具体产品形态还在摸索中。目前大模型工业领域有五种形态：基础底座、工具、软件服务、产品赋能
.应用场景方面大落地在工业领域目前还是以和预测为主比较初级的辅助决策。
7. 工业大模型还存在数据准备不足应用深入等问题。报告，大模型落地工业领域的主要于、数据、应用、商业变现等几方面
阅读原文
2. 工业互联网的应用已经让部分工业企业经历数据采集、数据存储、数据处理、数据分析、资产沉淀、应用的过程，部分场景已经具备了向基础大模型投喂的“数据”，经过简单数据处理、后，可以解决垂直细分具有落地可行性。br> 大模型的能力具有很强的性，未来大模型很大的工业领域和存在诸多可能
.应用场景方面大落地在工业领域目前还是以和预测为主比较初级的辅助决策。
7. 工业大模型还存在数据准备不足应用深入等问题。报告，大模型落地工业领域的主要于、数据、应用、商业变现等几方面
探索大模型+硬件新范式，为AI大模型插上强大的翅膀！
文章概要：
1. 生成式AI努力探索诸多个重要的落地方向，而的大模型成为了技术的关键> 2. 大模型是指具有大规模参数和复杂计算结构的机器学习。这些模型由神经网络构建而成，拥有数十亿甚至百亿、千亿个参数
3. 大模型的特点包括：庞大的体量、涌现特性、卓越的性能与泛化力、多任务学习、海量数据训练、强大的能力、迁移学习与预训练、自监督学习机制、跨领域知识整合
4PT一体机将大模型与高性能硬件相融合，内置了多种当下先进的大场景广泛
5. GPT一体机美的前端对话界面，学习成本上手，同时提供离线和在线两种模式，支持自定义GPT应用提供通用知识库，建立私有文档查询，内置应用包括：办公助手、合同管理、发票识别等，提供AI接口兼容OpenAI接口格式，二次开
6. 苏州超集信息科技有限公司推动智能科技的发展进入一个新的阶段，为各行各业的发展和企业数字化提供强有力的支持
阅读原文
3. 大模型的特点包括：庞大的体量、涌现特性、卓越的性能与泛化力、多任务学习、海量数据训练、强大的能力、迁移学习与预训练、自监督学习机制、跨领域知识整合
4PT一体机将大模型与高性能硬件相融合，内置了多种当下先进的大场景广泛
5. GPT一体机美的前端对话界面，学习成本上手，同时提供离线和在线两种模式，支持自定义GPT应用提供通用知识库，建立私有文档查询，内置应用包括：办公助手、合同管理、发票识别等，提供AI接口兼容OpenAI接口格式，二次开
6. 苏州超集信息科技有限公司推动智能科技的发展进入一个新的阶段，为各行各业的发展和企业数字化提供强有力的支持
MACE-MP-0基础大模型与应用
文章概要：
. 在分子动力学模拟中，场选择很重要，传统经验力场广泛使用，但对于复杂系统受限，基于机器学习的势能模型成为焦点，MACE是其中一种。
2. MACE-MP0仅基于MPtrj数据集构建，具有较强稳定性与可转移性，在多个领域显示出较优结果，如模拟水体系、催化领域等。br>3. 该模型存在一些缺陷，通过微调特定体系数据集显著提升表现，微调还能针对特定体系需求进行深度优化，减少数据需求计算时间。
4. 在RBMD-SaaS平台上，可利用MACE架构模型导出受力，进行高精度分子动力学模拟。
阅读原文
2. MACE-MP0仅基于MPtrj数据集构建，具有较强稳定性与可转移性，在多个领域显示出较优结果，如模拟水体系、催化领域等。br>3. 该模型存在一些缺陷，通过微调特定体系数据集显著提升表现，微调还能针对特定体系需求进行深度优化，减少数据需求计算时间。
4. 在RBMD-SaaS平台上，可利用MACE架构模型导出受力，进行高精度分子动力学模拟。
基于大模型的智能IVR，真正帮助企业实现降本增效！
文章概要：
1. 客户拨打客服热线时面临繁琐按键操作，影响客服效率和体验
2. 米糠推出新一代智能，大模型，提升机器人意图理解、问答生成、知识库管理、数据报表分析能力
3.方案具有意图识别能力强、RAG知识库、可视化搭建流程、多维度数据分析等特点
. 米糠云IVR提升服务效率和客户，降低企业运营成本，客户忠诚度和品牌竞争力>. 米糠云已服务8000余家企业客户，将AI创新应用于多个，助力企业数智转型升级
阅读原文
2. 米糠推出新一代智能，大模型，提升机器人意图理解、问答生成、知识库管理、数据报表分析能力
3.方案具有意图识别能力强、RAG知识库、可视化搭建流程、多维度数据分析等特点
. 米糠云IVR提升服务效率和客户，降低企业运营成本，客户忠诚度和品牌竞争力>. 米糠云已服务8000余家企业客户，将AI创新应用于多个，助力企业数智转型升级
《2024中国大模型企业TOP50发展报告》通过专家评审
文章概要：
1. 2024年月1日中国企业评价协会举办《024大模型企业TOP50发展报告》专家评审会> 2. 专家们认为该《报告》客观全面分析了我国当前大模型龙头企业发展的状况和趋势，逻辑清晰，内容丰富，能够促进大模型产业发展，引领企业发挥创新主导作用，加快发展质生产力
3. 专家们对报告提出了修改意见，包括使用规范专业术语、增加专业人才培养的政策建议、注重行业发展趋势分析等
4. 《2024中国大模型企业TOP5发展报告》及大模型企业TOP50榜单将于11月27日首次发布
5. “大模型企业0”评价研究工作由中国企业协会与中关村人工智能产业联盟共同开展，旨在挖掘一批通用型和行业垂直型的大模型标杆企业，助力大模型企业实现高质量发展
阅读原文
3. 专家们对报告提出了修改意见，包括使用规范专业术语、增加专业人才培养的政策建议、注重行业发展趋势分析等
4. 《2024中国大模型企业TOP5发展报告》及大模型企业TOP50榜单将于11月27日首次发布
5. “大模型企业0”评价研究工作由中国企业协会与中关村人工智能产业联盟共同开展，旨在挖掘一批通用型和行业垂直型的大模型标杆企业，助力大模型企业实现高质量发展
双第一！百度智能云领跑中国大模型市场
文章概要：
1 IDC发布报告，04百度智能云在「中国MaaS市场」和「AI模型解决方案市场」中，份额均为。
2. 百度智能云的MaaS业务主要通过百度智能云大模型提供服务，为企业提供模型全生命周期工具链和整套环境。
3.智能针对千帆大模型平台在应用开发、模型服务、等不断精进迭代。
4. 百度智能云中国最广最深的大模型产业落地规模，已有超6%的央企正在使用百度智能云进行AI创新。
5. 百度智能云在汽车、互联网、在线教育、金融、工业、交通、政务等多个行业都有成功的应用案例。
阅读原文
2. 百度智能云的MaaS业务主要通过百度智能云大模型提供服务，为企业提供模型全生命周期工具链和整套环境。
3.智能针对千帆大模型平台在应用开发、模型服务、等不断精进迭代。
4. 百度智能云中国最广最深的大模型产业落地规模，已有超6%的央企正在使用百度智能云进行AI创新。
5. 百度智能云在汽车、互联网、在线教育、金融、工业、交通、政务等多个行业都有成功的应用案例。
一文理解大语言模型微调代价和性能瓶颈
文章概要：
1. 本文通过Llamafactory，采用QLoRA量化微调方法，对Mistral和BlackMamba模型进行微调，并分析了模型整体和算子的计算瓶颈、时间分布和利用率。
2. 文章对整体模型的算子和计算流程进行了拆解，并对MoE层内的算子进行了内核级分析。
3. 文章还对执行流程时间和运算符执行时间进行了拆解分析，并对运算符利用率和带宽利用率进行了研究。
4. 文章对输入数据的序列长度进行了分析，并指出了实验待分析部分。
阅读原文
2. 文章对整体模型的算子和计算流程进行了拆解，并对MoE层内的算子进行了内核级分析。
3. 文章还对执行流程时间和运算符执行时间进行了拆解分析，并对运算符利用率和带宽利用率进行了研究。
4. 文章对输入数据的序列长度进行了分析，并指出了实验待分析部分。
谷歌DeepMind大模型下半场扬眉吐气
文章概要：
1. 谷歌DeepMind双子座大模型Gemini-exp-114强势登顶
2. 美国人工智能政策研究中心人工智能安全与备竞赛前沿报告
阅读原文
2. 美国人工智能政策研究中心人工智能安全与备竞赛前沿报告
一文理解大语言模型推理和相关优化
文章概要：
1. 本文拆解大语言模型的工作，计算时间分布和占用分布，进而分析优化，可以通过本文理解优化策略这个方向做
. LLM的推理过程可分为预填充阶段和解码阶段
3. 从显存和时间方面分别分析如何KV Cache和优化模型尺寸做压缩
4. 分析注意力机制和线性层的优化
阅读原文
. LLM的推理过程可分为预填充阶段和解码阶段
3. 从显存和时间方面分别分析如何KV Cache和优化模型尺寸做压缩
4. 分析注意力机制和线性层的优化
狂奔两周年，激辩AI大模型“撞墙”
文章概要：
1. OpenAI奥特曼发推文称大模型“没有边界”。
2. 《The Information》报道OpenAI下一代旗舰模型“Orion”未能达到公司预期性能。
3. OpenAI成立基础团队研究如何在训练数据减少情况下改进模型。
4. OpenAI前首席科学家I认为通过扩展预训练取得的效果已触及瓶颈。
5.Nature》文章称当AI大模型被训练在由先前版本的生成的数据上时导致模型产生无意义内容。<>6. Anthropic创始人Dario Amodei认为预训练的扩展法则仍会存在。
7. 李彦宏表示基础模型两年一个大的版本迭代比较合适的。
8. 国内至少有两家AI要放弃大模型预训练。br>9.lya在研究“传统扩展”方法。
0. OpenAIChatGPT至今刚好两年，整个行业已进入冷静、平稳期。
1. 除问题，大模型还面临、能源、商业模式、社会伦理、社会治理、地缘竞争等问题。3. 奥特曼AGI将在2025年左右，ASI将在天内到来。
阅读原文
2. 《The Information》报道OpenAI下一代旗舰模型“Orion”未能达到公司预期性能。
3. OpenAI成立基础团队研究如何在训练数据减少情况下改进模型。
4. OpenAI前首席科学家I认为通过扩展预训练取得的效果已触及瓶颈。
5.Nature》文章称当AI大模型被训练在由先前版本的生成的数据上时导致模型产生无意义内容。<>6. Anthropic创始人Dario Amodei认为预训练的扩展法则仍会存在。
7. 李彦宏表示基础模型两年一个大的版本迭代比较合适的。
8. 国内至少有两家AI要放弃大模型预训练。br>9.lya在研究“传统扩展”方法。
0. OpenAIChatGPT至今刚好两年，整个行业已进入冷静、平稳期。
1. 除问题，大模型还面临、能源、商业模式、社会伦理、社会治理、地缘竞争等问题。
大模型 TOP 5：百度、商汤、讯飞、智谱、百川智能
文章概要：
1. IDC发布《中国即服务（MaaS）AI大模型解决方案市场追踪，20241报告
2. 中国AI大模型市场规模达13.8亿元，其中百度2.35、商汤2.04亿、讯飞1.5亿、智谱1.21亿、智能4002万
3. 2024上半年中国aaS市场达2.5亿元
阅读原文
2. 中国AI大模型市场规模达13.8亿元，其中百度2.35、商汤2.04亿、讯飞1.5亿、智谱1.21亿、智能4002万
3. 2024上半年中国aaS市场达2.5亿元
论文导读 | 基于大模型的推荐进展介绍
文章概要：
1. 论文导读：基于大模型的推荐进展介绍。
2. 大模型在推荐系统中的应用旨在通过深度整合用户的偏好和行为历史，为用户提供更精准和相关的推荐。
3. 本文将介绍四篇研究论文，它们分别从不同的技术角度探讨如何通过个性化大模型优化推荐效果
4. RecGPT：基于ChatGPT训练范式的生成个性化提示用于序列推荐。
5. PERSONALIZED PIECES：通过协作实现高效的个性化大语言模型。
6. 生成式探索-利用：使用LLM优化器的式系统的无训练优化。
阅读原文
2. 大模型在推荐系统中的应用旨在通过深度整合用户的偏好和行为历史，为用户提供更精准和相关的推荐。
3. 本文将介绍四篇研究论文，它们分别从不同的技术角度探讨如何通过个性化大模型优化推荐效果
4. RecGPT：基于ChatGPT训练范式的生成个性化提示用于序列推荐。
5. PERSONALIZED PIECES：通过协作实现高效的个性化大语言模型。
6. 生成式探索-利用：使用LLM优化器的式系统的无训练优化。
炸了！大模型教程发布
文章概要：
1 大模型岗位数量增多，年薪高达80W-0W
2. 沃恩刊审稿人Kimi7天入门大模型课程
3. 课程将从深度学习开始，带领同学了解大模型的相关理论和实践
4. 课程还讲解了模型的实践和案例以及NLP的前沿技术与挑战
5 课程从最基础的NLP语言知识入手，逐步深入到深度学习在NLP中的应用> 6. 课程还讲解了预训练模型和LP的任务及实现
7. 课程与项目展示
. 文末福利：联合多位QS前50大佬做了最新的大模型实战系列课，原价699元现在0元领取
阅读原文
2. 沃恩刊审稿人Kimi7天入门大模型课程
3. 课程将从深度学习开始，带领同学了解大模型的相关理论和实践
4. 课程还讲解了模型的实践和案例以及NLP的前沿技术与挑战
5 课程从最基础的NLP语言知识入手，逐步深入到深度学习在NLP中的应用> 6. 课程还讲解了预训练模型和LP的任务及实现
7. 课程与项目展示
. 文末福利：联合多位QS前50大佬做了最新的大模型实战系列课，原价699元现在0元领取
复旦大学：2024大语言模型的能力边界与发展思考报告
文章概要：
1. 引言：介绍大语言模型的发展现状及研究意义
2. 基本原理与训练过程：包括预训练阶段、有监督微调阶段和奖励函数与强化学习阶段
3. 能力边界：包括知识记忆与运用、推理能力、文本生成能力和任务执行能力
4. 发展思考：包括当前面临的问题、未来发展路径和推动发展的策略
5. 结论总结大语言模型现状和未来发展方向
阅读原文
2. 基本原理与训练过程：包括预训练阶段、有监督微调阶段和奖励函数与强化学习阶段
3. 能力边界：包括知识记忆与运用、推理能力、文本生成能力和任务执行能力
4. 发展思考：包括当前面临的问题、未来发展路径和推动发展的策略
5. 结论总结大语言模型现状和未来发展方向
大模型中文教程，来了！
文章概要：
1. 近年来，大模型成为人工智能领域最的话题，各大科技巨头纷纷布局，相关岗位数量增多。
2. 沃恩智慧携手顶刊审稿人K老师，推出7天入门大模型课程，旨在为对大模型感兴趣的同学提供资源，打下基础。
3. 课程将从深度学习开始，逐步深入到大模型的相关理论和实践，最后进行前沿问题的探索。
4. 课程内容包括NLP语言知识、深度学习NLP中的应用、预训练模型、NLP任务及实现实践案例分析、NLP前沿技术与挑战等。
5. 课程还将讲解大模型的实践和案例，以及NLP的技术与挑战，规划大模型论文的写作方向。
6. 文末福利：联合多位QS前50大佬做了最新大模型实战系列，原价699，现在元领取。
阅读原文
2. 沃恩智慧携手顶刊审稿人K老师，推出7天入门大模型课程，旨在为对大模型感兴趣的同学提供资源，打下基础。
3. 课程将从深度学习开始，逐步深入到大模型的相关理论和实践，最后进行前沿问题的探索。
4. 课程内容包括NLP语言知识、深度学习NLP中的应用、预训练模型、NLP任务及实现实践案例分析、NLP前沿技术与挑战等。
5. 课程还将讲解大模型的实践和案例，以及NLP的技术与挑战，规划大模型论文的写作方向。
6. 文末福利：联合多位QS前50大佬做了最新大模型实战系列，原价699，现在元领取。
今年是大模型的天下
文章概要：
1. 近年来，领域最火热的话题是，ChatGPT 推出仅一年半的时间，就式 AI 推向主流
2. 沃恩智慧携手顶刊审稿人 Kimi 老师，共同推出 7 天入门大模型课程，意在为对大模型的同学提供相关资源，为大模型领域的打下基础。
3. 课程从最基础的 NLP 语言知识入手，逐步深入到深度学习在 NLP 中的应用，其中更是详细了预模型和 NLP 的任务实现。
4. 同时课程还讲解了大模型的实践和案例以及 NLP 的前沿技术与挑战，大模型论文的写作方向，节课还会针对大家大常见疑问，集中解答所有疑惑。
5.整理了 QS 前 50大佬的部分现成大模型 idea，很多现有大模型 可冲一区，让大佬直接带飞！
阅读原文
2. 沃恩智慧携手顶刊审稿人 Kimi 老师，共同推出 7 天入门大模型课程，意在为对大模型的同学提供相关资源，为大模型领域的打下基础。
3. 课程从最基础的 NLP 语言知识入手，逐步深入到深度学习在 NLP 中的应用，其中更是详细了预模型和 NLP 的任务实现。
4. 同时课程还讲解了大模型的实践和案例以及 NLP 的前沿技术与挑战，大模型论文的写作方向，节课还会针对大家大常见疑问，集中解答所有疑惑。
5.整理了 QS 前 50大佬的部分现成大模型 idea，很多现有大模型 可冲一区，让大佬直接带飞！
为什么预训练大模型要使用无监督学习的方式？
文章概要：
1. 预训练采用无监督的方式进行，微调一般采用监督学习的方式进行br>2. 预训练是一个从未训练过的模型，参数值都是随机的，微调是在预训练基础对部分参数进行调整。<>3. 很少有人会从开始训练，原因就是技术难度大，算力要求高，而且需要的训练数据集，这些对绝大部分人来说都是一个无法跨越的坎。
4. 预训练技术通过从大规模未标记数据中学习特征和先验知识，减少对标记数据的依赖，加速并优化在数据集上的模型训练。
5. 预训练能够让模型从大量未标记的数据中学习到大量特征，从而减少对标记数据的，这样就可以在有限数据集上训练出良好的。
6 有些公司在做模型时，设计和训练；但事实上很多时候模型在具备一定的其它知识的情况下，会表现的更好
阅读原文
4. 预训练技术通过从大规模未标记数据中学习特征和先验知识，减少对标记数据的依赖，加速并优化在数据集上的模型训练。
5. 预训练能够让模型从大量未标记的数据中学习到大量特征，从而减少对标记数据的，这样就可以在有限数据集上训练出良好的。
6 有些公司在做模型时，设计和训练；但事实上很多时候模型在具备一定的其它知识的情况下，会表现的更好
强的离谱！大模型，yyds
文章概要：
1. 近年来，人工智能领域最火热的话题是大模型，几乎所有科技都在布局AI，也影响到了招聘市场，大模型相关岗位数量增多，年薪甚至达到80W-90W
2. 沃恩智慧携手顶刊审稿人imi老师共同推出7天入门大模型，意在为对大的同学提供相关资源，为大模型领域的探索基础
3. 课程从最基础的NLP语言知识入手，逐步深入到深度学习在NLP中的应用，其中更是详细介绍了预训练模型和NLP的任务及实现
4.还讲解了大模型的实践和案例以及NLP前沿技术与挑战，规划大模型论文的方向，每节课后还针对大家大模型疑问，集中解答疑惑
5. 很多同学陷入了写论文困境，其实很大原因是因为创新点不足，特别是已经很多创新不足被拒稿的同学，要花费大量的时间来重新立意，然后从头开始去重建自己的论文逻辑
6. 沃恩智慧联合多位QS前0大佬做了最新的大模型实战系列课，原价699，现在0元领取
阅读原文
2. 沃恩智慧携手顶刊审稿人imi老师共同推出7天入门大模型，意在为对大的同学提供相关资源，为大模型领域的探索基础
3. 课程从最基础的NLP语言知识入手，逐步深入到深度学习在NLP中的应用，其中更是详细介绍了预训练模型和NLP的任务及实现
4.还讲解了大模型的实践和案例以及NLP前沿技术与挑战，规划大模型论文的方向，每节课后还针对大家大模型疑问，集中解答疑惑
5. 很多同学陷入了写论文困境，其实很大原因是因为创新点不足，特别是已经很多创新不足被拒稿的同学，要花费大量的时间来重新立意，然后从头开始去重建自己的论文逻辑
6. 沃恩智慧联合多位QS前0大佬做了最新的大模型实战系列课，原价699，现在0元领取
AI大模型：开源、闭源之争的本质！LLaMA原来在假装开源？
文章概要：
1. 近期关于LLM领域开源与闭源模型竞争的辩论白热化。
2. 开源模型因其开放性和社区驱动特性受部分用户青睐，闭源模型因专业性和卓越性能优化在商业领域广泛应用。
3. 随着大模型，开源社区重新审视“开源”定义，Meta、Google等巨头将LLaMA模型冠以“开源”之名引发讨论。
4. 本文从技术、商业等层面探讨开源、假装开源与闭源的区别与联系。
. 开源透明性和高社区度受开发者喜爱，假装开源模型给人掌控感，闭源模型在性能、安全性和专业服务上更具优势。
6. 闭源模型由专业团队，针对特定应用场景定制，性能更优。
7. 闭源模型可能使用更高质量或更大规模的数据集训练。
8. 闭源因不公开特性，能更好地控制数据使用和流动，提供更高安全性和隐私保护。br> 9. 闭源模型通常提供专业技术支持和客户服务，易用高。
10. 在大模型领域，开源与闭源的模式呈现出截然不同的特点，多数大模型开源主要以开放权重为主，并未真正开源数据和训练。
1. 高昂的算力成本使得普通开发者难以承担复现训练过程，模型能力难以因开放而得到实质提升。
12. 闭源模型的性能优势正在逐渐减弱，开源模型在反馈迭代速度上优于闭源模型。
13. 开源与闭之争，表面上是技术路线的选择，是利益与市场的博弈。
14. 开源模型前期免费但后期隐性成本较高，适合预算有限、对数据安全要求高学术研究、业务探索项目；闭源模型则相对稳定可靠费用较高，适合对成本不敏感的大型项目。> 15，开源与闭源将共存并相互竞争，来看，大模型或将走向开源。
阅读原文
2. 开源模型因其开放性和社区驱动特性受部分用户青睐，闭源模型因专业性和卓越性能优化在商业领域广泛应用。
3. 随着大模型，开源社区重新审视“开源”定义，Meta、Google等巨头将LLaMA模型冠以“开源”之名引发讨论。
4. 本文从技术、商业等层面探讨开源、假装开源与闭源的区别与联系。
. 开源透明性和高社区度受开发者喜爱，假装开源模型给人掌控感，闭源模型在性能、安全性和专业服务上更具优势。
6. 闭源模型由专业团队，针对特定应用场景定制，性能更优。
7. 闭源模型可能使用更高质量或更大规模的数据集训练。
8. 闭源因不公开特性，能更好地控制数据使用和流动，提供更高安全性和隐私保护。br> 9. 闭源模型通常提供专业技术支持和客户服务，易用高。
10. 在大模型领域，开源与闭源的模式呈现出截然不同的特点，多数大模型开源主要以开放权重为主，并未真正开源数据和训练。
1. 高昂的算力成本使得普通开发者难以承担复现训练过程，模型能力难以因开放而得到实质提升。
12. 闭源模型的性能优势正在逐渐减弱，开源模型在反馈迭代速度上优于闭源模型。
13. 开源与闭之争，表面上是技术路线的选择，是利益与市场的博弈。
14. 开源模型前期免费但后期隐性成本较高，适合预算有限、对数据安全要求高学术研究、业务探索项目；闭源模型则相对稳定可靠费用较高，适合对成本不敏感的大型项目。> 15，开源与闭源将共存并相互竞争，来看，大模型或将走向开源。
“大模型与生成的评估”论坛详情公布｜中国中文信息学会2024学术年会暨第三届全国大模型智能生成大会（CIPS-LMG2024）
文章概要：
1 中国信息学会2024学术年会暨第三届全国大模型智能生成大会（CIPS-LMG 2024）将于2024年11月28日-2月1日于浙江嘉兴召开
2 前沿技术论坛将于24年11月30日召开，多个论坛覆盖了大模型基础理论深度推理、大模型安全、多模态大模型、科学智能、具身智能、智能体、社会智能等时下最受关注的技术议题> 3. 本公众号将陆续发布各论坛的学术报告详情敬请关注
4.介绍月30的分论坛日程
5. 介绍了“大模型生成评估”论坛的组织信息
阅读原文
2 前沿技术论坛将于24年11月30日召开，多个论坛覆盖了大模型基础理论深度推理、大模型安全、多模态大模型、科学智能、具身智能、智能体、社会智能等时下最受关注的技术议题> 3. 本公众号将陆续发布各论坛的学术报告详情敬请关注
4.介绍月30的分论坛日程
5. 介绍了“大模型生成评估”论坛的组织信息
AI大模型落地，为什么是央国企先行？
文章概要：
1. 202年1-7月，央国企采购大模型项目数量已超过950个，且均匀布局在智算中心、大模型预训练、Agent和行业应用等多个方向。
2. 大模型纷纷落地国央企，政策推动是决定性因素。自2023年以来，国资委多次中央企业发展人工智能提出要求。
3. 除了政策影响，站在产业数字化和数智化的潮头央国企纷纷落地大模型的背后还有哪些推动因素？
4. 运营商、政务、能源抢先建设智算中心，AI大模型史上最大项目，当属“智算中心”。
5. 除了智算中心，央国企对AI大模型建设的另一个重点则是行业应用，即针对特定场景搭建大模型平台或应用。
6. AI大模型：颠覆传统IT架构背后，在过去的云计算时代，大型企业进行数字化转型需要从购买或租赁服务器，到选址建数据中心，再到选择合适的云架构，接下来到平台开发环节及上层应用的搭建。
7. 目前央国企在大模型落地方面，主要围绕两点，智算中心，一个是行业应用。
8. 央国企先行落地大模型的背后，有三点核心原因。
9. 阻挡大模型落地进程的还不仅仅是算力资源短缺。
10. 虽然大模型时代已经颠覆了过去从IaaS到PaaS再到SaaS的传统三层架构，但在新时代下，新的架构也迎来了一些新的挑战。
阅读原文
2. 大模型纷纷落地国央企，政策推动是决定性因素。自2023年以来，国资委多次中央企业发展人工智能提出要求。
3. 除了政策影响，站在产业数字化和数智化的潮头央国企纷纷落地大模型的背后还有哪些推动因素？
4. 运营商、政务、能源抢先建设智算中心，AI大模型史上最大项目，当属“智算中心”。
5. 除了智算中心，央国企对AI大模型建设的另一个重点则是行业应用，即针对特定场景搭建大模型平台或应用。
6. AI大模型：颠覆传统IT架构背后，在过去的云计算时代，大型企业进行数字化转型需要从购买或租赁服务器，到选址建数据中心，再到选择合适的云架构，接下来到平台开发环节及上层应用的搭建。
7. 目前央国企在大模型落地方面，主要围绕两点，智算中心，一个是行业应用。
8. 央国企先行落地大模型的背后，有三点核心原因。
9. 阻挡大模型落地进程的还不仅仅是算力资源短缺。
10. 虽然大模型时代已经颠覆了过去从IaaS到PaaS再到SaaS的传统三层架构，但在新时代下，新的架构也迎来了一些新的挑战。
美国大语言模型技术发展及军事应用调研报告
文章概要：
1. 美国发布一系列战略文件和具体方案推动人工智能的军事化应用，包括建立以人工智能为核心的组织架构和管理系统，重点发展人工智能人才队伍，新技术研发的军费投入，推动军民产业和，加强与盟友的技术合作
2. 美国陆军和空军在演习利用大语言模型大幅缩短了指挥官决策时间，对于解决决策过程中的信息需求发挥较好的辅助作用
3. 目前已知的是，包括ScaleAI公司、帕兰提尔公司和安瑞尔工业公司在内的家公司都在为五角开发基于大语言模型决策平台，微软公司也已经宣布Azure政府云计算机服务的可以访问OpenAI的人工智能模型
阅读原文
2. 美国陆军和空军在演习利用大语言模型大幅缩短了指挥官决策时间，对于解决决策过程中的信息需求发挥较好的辅助作用
3. 目前已知的是，包括ScaleAI公司、帕兰提尔公司和安瑞尔工业公司在内的家公司都在为五角开发基于大语言模型决策平台，微软公司也已经宣布Azure政府云计算机服务的可以访问OpenAI的人工智能模型
OpenAI下一达大模型Orion被爆出提升有限，大模型之路还有机会吗？
文章概要：
1. OpenAI的下一代大模型“猎户座”（Orion）被曝出提升效果有限GPT-4上的一些明显错误
2. 很多人GPT这种模式是通向不了AGI的，模型悲观主义学派Gary Marcus直接宣布：游戏结束，我赢了。GPT大模型正在进入一个收益期
3. 目前大模型存在的问题：数据集的问题，训练成本的
4. OpenAI训练一个大模型，特别是下一代大模型ion，其花费应该是天价了
5.AGI的方向？大模型这条路到底能不能通向AGI目前谁也说不清楚。但是其实还有很多可以发展的空间
6. OpenAI在尝试提升后训练Post-Training和推理阶段中的算力，整体模型的有明显的提升效果
. Lecun就曾提到过通向AGI的方法就是需要构建一个“世界模型”
阅读原文
2. 很多人GPT这种模式是通向不了AGI的，模型悲观主义学派Gary Marcus直接宣布：游戏结束，我赢了。GPT大模型正在进入一个收益期
3. 目前大模型存在的问题：数据集的问题，训练成本的
4. OpenAI训练一个大模型，特别是下一代大模型ion，其花费应该是天价了
5.AGI的方向？大模型这条路到底能不能通向AGI目前谁也说不清楚。但是其实还有很多可以发展的空间
6. OpenAI在尝试提升后训练Post-Training和推理阶段中的算力，整体模型的有明显的提升效果
. Lecun就曾提到过通向AGI的方法就是需要构建一个“世界模型”
热议！大模型Scaling Law真的撞墙了吗？
文章概要：
1. 关于大模型已经Scaling up不动了一事引来了各路大佬的激烈讨论
2. 介绍了Scaling Law的定义和现状，以及面临的问题
3. 从摩尔定律中得到启示，LLM预训练阶段的撞墙现象不会阻碍AI的前进
4. 行业内对Scaling Law未来走向的不确定性，以及对新方法探索的迫切需求
5. 介绍了推理时间计算技术的兴起、合成数据、新的模型或者网络架构、垂直领域的Scaling law仍在继续等内容
6. 大语言模型的发展正面临着Scaling Law停滞不前的问题，未来需要更多创新性的解决方案来推动AI技术的发展
阅读原文
2. 介绍了Scaling Law的定义和现状，以及面临的问题
3. 从摩尔定律中得到启示，LLM预训练阶段的撞墙现象不会阻碍AI的前进
4. 行业内对Scaling Law未来走向的不确定性，以及对新方法探索的迫切需求
5. 介绍了推理时间计算技术的兴起、合成数据、新的模型或者网络架构、垂直领域的Scaling law仍在继续等内容
6. 大语言模型的发展正面临着Scaling Law停滞不前的问题，未来需要更多创新性的解决方案来推动AI技术的发展
LLM的擅长与不擅长：深入剖析大语言模型的能力边界
文章概要：
1. LLM的核心是基于Transformer架构，通过大量文本数据的训练来预测序列中的下一个词。其工作原理主要包括Tokenization与Embedding、多层处理、上下文理解。
2. LLM的擅长之处包括文本生成、语言理解与翻译、模式识别与知识学习、多领域应用潜力。
3. LLM的不擅长之处包括推理和规划能力、数值处理与计算、事实准确性与一致性、偏见与缺乏理解深度、特定领域专业知识应用。
阅读原文
2. LLM的擅长之处包括文本生成、语言理解与翻译、模式识别与知识学习、多领域应用潜力。
3. LLM的不擅长之处包括推理和规划能力、数值处理与计算、事实准确性与一致性、偏见与缺乏理解深度、特定领域专业知识应用。
突破15亿次调用 百度大模型加速释放AI商业价值
文章概要：
1 全球大模型浪潮席卷科技行业，百度创始人李彦宏在2024年11月12日的百度大会了自己的。
. 截至22年1，百度心大模型的日均量突破15次，一年前首次披露的0万次增长了近30倍br>3. 百度使用了检索增强生成（RAG）技术，降低幻觉的发生率。
4. 百度进一步扩展了检索增强的应用，推出了iRImage-based RAG）。
5. 李彦宏介绍了推出的无代码开发工具——秒，秒哒的最大亮点是它的低和高度灵活性。<>6 李彦宏展示了文心智能体平台TOP10智能体和TOP100应用表明“百度要推出‘超级应用’，是要帮助更多人更多企业打造出数百万超级有用’的应用。
阅读原文
. 截至22年1，百度心大模型的日均量突破15次，一年前首次披露的0万次增长了近30倍br>3. 百度使用了检索增强生成（RAG）技术，降低幻觉的发生率。
4. 百度进一步扩展了检索增强的应用，推出了iRImage-based RAG）。
5. 李彦宏介绍了推出的无代码开发工具——秒，秒哒的最大亮点是它的低和高度灵活性。<>6 李彦宏展示了文心智能体平台TOP10智能体和TOP100应用表明“百度要推出‘超级应用’，是要帮助更多人更多企业打造出数百万超级有用’的应用。
突破15亿次调用 百度大模型加速释放AI商业价值
文章概要：
1 百度文心大模型日均调用量已突破15亿次，相比一年前增长了近30倍，这反映出中国大模型技术应用快速成熟
2. 百度使用了检索增强生成（RAG）技术来消除大模型的“幻觉”问题，目前基于文本的RAG技术已经取得了较大突破，百度的文心大模型已经能够有效消除文本生成中的。
3. 百度推出了iRAG（Image-based RAG技术，结合百度搜索中数以亿计的高质量图片资源和强大的生成模型，能够生成更加真实、自然的图像。
4. 李彦宏介绍了百度最新推出的无代码开发工具——秒哒，用户可以通过简单的自然语言描述需求，无需编写任何代码，即可自动生成应用程序代码，从而迅速完成软件开发。
5. 李彦宏展示了文心智能体平台TOP100智能体和TOP100产业应用，并表明“百度不是要推出一个‘超级应用’，是要帮助更多人、更多企业打造出数百万‘超级有用’的应用”。
阅读原文
2. 百度使用了检索增强生成（RAG）技术来消除大模型的“幻觉”问题，目前基于文本的RAG技术已经取得了较大突破，百度的文心大模型已经能够有效消除文本生成中的。
3. 百度推出了iRAG（Image-based RAG技术，结合百度搜索中数以亿计的高质量图片资源和强大的生成模型，能够生成更加真实、自然的图像。
4. 李彦宏介绍了百度最新推出的无代码开发工具——秒哒，用户可以通过简单的自然语言描述需求，无需编写任何代码，即可自动生成应用程序代码，从而迅速完成软件开发。
5. 李彦宏展示了文心智能体平台TOP100智能体和TOP100产业应用，并表明“百度不是要推出一个‘超级应用’，是要帮助更多人、更多企业打造出数百万‘超级有用’的应用”。
下一代大模型驱动的推荐系统: 综述与展望
文章概要：
1. 下一代大模型驱动的推荐系统：综述与展望。
2. 作者对基于大模型的推荐系统进行了深入调研与系统梳理，并引入一种反映推荐本质的新颖分类法，深入研究了基于大模型推荐系统的应用及其工业实现。
3. 具体来说，文章中提出了一个三层结构，更准确地反映了推荐系统从研究到实际落地部署的发展过程，包括表征和理解、规划和利用以及工业部署。
4. 文章还讨论了将大模型整合到推荐系统中面临的挑战和机遇。
阅读原文
大模型应用，有哪些简单却巧妙的上分方法？
文章概要：
1. 算力：改大batchsize、多训epoch、一个样本用回等；不在意计算量和参数量的领域狂堆算力；把算力很大的组件描述一笔带过等。br>. 超参数：通过把cosine学习率变化调成固定学习率，反过来，来得到想要的实验结果等。
3. 小修小改：模型的relu换成swishleaky relu/prelu；偷偷到处加SE layer等。
4.设计：奇奇怪的GAN Loss，一致性Loss；把别人在论文里一句话带过的技术详细展开等。<>5. 测试方法：十个指标，报告有进步的三个；做十个数据集的，没效果的五个扔掉等。br>6. 终极方法：抄一个别人的方法，但是把名字换一遍；报，开源就是只有README等。
阅读原文
3. 小修小改：模型的relu换成swishleaky relu/prelu；偷偷到处加SE layer等。
4.设计：奇奇怪的GAN Loss，一致性Loss；把别人在论文里一句话带过的技术详细展开等。<>5. 测试方法：十个指标，报告有进步的三个；做十个数据集的，没效果的五个扔掉等。br>6. 终极方法：抄一个别人的方法，但是把名字换一遍；报，开源就是只有README等。
必看！大模型驱动IT运维智能化升级，7家头部企业率先落地
文章概要：
1. 信息系统的重要性突显，企业运维理念不断演进，从手工运维到自动化运维，再到研发和运维同步的Ops阶段，现在已经进入智能运维阶段
2. 头部企业已在智能运维领域进行探索，大模型的出现进一步推动智能智能运维领域的发展，不仅提高了运维的效率和准确性促进了运维工作的自动化和智能化，为未来的运维无人化变革奠定了基础
. 沙丘智库选取了7家典型企业（包括华为云、阿里云、邮储银行、蚂蚁集团、跳动、西门子）实践案例，其他企业探索“大模型智能运维”提供参考
阅读原文
2. 头部企业已在智能运维领域进行探索，大模型的出现进一步推动智能智能运维领域的发展，不仅提高了运维的效率和准确性促进了运维工作的自动化和智能化，为未来的运维无人化变革奠定了基础
. 沙丘智库选取了7家典型企业（包括华为云、阿里云、邮储银行、蚂蚁集团、跳动、西门子）实践案例，其他企业探索“大模型智能运维”提供参考
报告分享 | 李彦胜教授：遥感大模型赋能复杂地理场景智能解译
文章概要：
1. 本文分享了武汉大学遥感信息工程学院副院长、教授李彦胜在2024中国测绘地理信息技术年会中所作报告《遥感模型赋能复杂地理场景智能解译》。
2. 嘉宾李彦胜是武汉大学教授、博士生导师，国家青年人才计划获得者，长期从事遥感时空知识图谱、多模态遥感基础大模型、遥感大数据智能解译。
3. 报告首先介绍了与蚂蚁集团联合研发的20亿参数的多模态时序遥感基础大模型SkySense，场景分类、语义分割、检测、作物分类等17个数据集获得最佳然后，介绍了在SkySense支持下的复杂遥感场景解译技术，大幅面遥感影像语义分割、大幅面遥感影像矢量制图、大幅面遥感影像图生成等。最后，针对该领域面临的挑战提出了未来研究展望。
阅读原文
2. 嘉宾李彦胜是武汉大学教授、博士生导师，国家青年人才计划获得者，长期从事遥感时空知识图谱、多模态遥感基础大模型、遥感大数据智能解译。
3. 报告首先介绍了与蚂蚁集团联合研发的20亿参数的多模态时序遥感基础大模型SkySense，场景分类、语义分割、检测、作物分类等17个数据集获得最佳然后，介绍了在SkySense支持下的复杂遥感场景解译技术，大幅面遥感影像语义分割、大幅面遥感影像矢量制图、大幅面遥感影像图生成等。最后，针对该领域面临的挑战提出了未来研究展望。
大模型“取长补短”新思路入选NeurIPS'24，显著优于现有路由方法，南科大港科大出品
文章概要：
1. RouterDC是一种基于双重对比学习的路由，具有参数高效性和计算高效性的优势。
2. RouterDC在具有挑战性语言理解、代码生成和数学推理等推理任务实验中，远超于现有的routing方法。
3. RouterDC包括一个较小的语言模型编码器和一系列与候选LLM对应的可学习的LLM embeddings。br>4. 对于训练数据中的每个query，首先将候选LLM的预测与真实标签进行比较获得表现最好和最差的LLM，然后构造两个对比损失。br>5. RouterDC在训练时不需要任何经过LLM的梯度回传，并且在推理时只需要调用进行一次LLM，同时具有训练和推理的高效性。
RouterDC在分布内数据集的测试准确率结果显著好于最优的单个模型，平均具有3.9%性能提升。<>7. RouterDC在分布外数据集的测试准确率再次达到最高，显著超过表现最佳的单个LLM 1.9%。
8. RouterDC具有成本高效性。
阅读原文
2. RouterDC在具有挑战性语言理解、代码生成和数学推理等推理任务实验中，远超于现有的routing方法。
3. RouterDC包括一个较小的语言模型编码器和一系列与候选LLM对应的可学习的LLM embeddings。br>4. 对于训练数据中的每个query，首先将候选LLM的预测与真实标签进行比较获得表现最好和最差的LLM，然后构造两个对比损失。br>5. RouterDC在训练时不需要任何经过LLM的梯度回传，并且在推理时只需要调用进行一次LLM，同时具有训练和推理的高效性。
RouterDC在分布内数据集的测试准确率结果显著好于最优的单个模型，平均具有3.9%性能提升。<>7. RouterDC在分布外数据集的测试准确率再次达到最高，显著超过表现最佳的单个LLM 1.9%。
8. RouterDC具有成本高效性。
大语言模型真能“理解”语言吗？
文章概要：
1. 本文旨在探讨大语言模型是否能像人类一样理解自然语言，从而理解语言所描述的物理场景和社会场景，总结支持方和反对方的论证，以及这些论证背后的、广义的智能科学的关键问题。
2. 随着近期大型人工智能系统，尤其是所谓“大语言模型”的兴起，人工智能社群内部开始了一场激烈的辩论：机器是否能真正理解自然语言，从而理解语言所描述的物理场景和社会场景。
3. 直至不久前，人工智能研究界对于机器理解的问题都尚有普遍的共识：尽管人工智能系统在许多特定任务上都能展现出看似智能的行为，它们并不能像人类一样理解自己处理的数据。
4. 过去几年里，一种新的人工智能系统在研究界崭露头角，它广受欢迎并具有重大影响力，改变了一些人对“机器能够理解语言”的可能性的看法。
5. 这些系统被称为大语言模型（LLMs）、大规模预训练模型（Large Pre-Trained Models）或基础模型（Foundation Models），它们是拥有数十亿到数万亿参数（权重）的深度神经网络，在包括大量网络数据、在线图书馆和其它几TB数据的自然语言语料库训练集中“预训练”过。
6. 这种模型用于生成自然语言，可以进行特定语言任务的微调，或者受到进一步训练以更好地匹配“用户意图”。
7. 大语言模型在拥有足够大的网络和训练数据集的情况下，将会达到人类级别的和理解。
8. 辩论的另一方则认为，就GPT-3或LaMDA这样的大型预训练模型而言，无论它们的语言输出多么流利，它们都不具备理解能力，因为它们并没有对于世界的经验，或“心智模型”（mental model）。
9. 2022年的一项调查显示，自然语言处理领域的研究者在这场辩论中有立场分歧。
10. 对那些认为当前或近未来的大语言模型能具备理解能力的人而言，他们的依据来自大语言模型在几个方面的表现，其中包括对模型回应提示的文本质量的主观判断，以及更加客观的、在用于评估语言理解和推理能力的基准数据集上的表现。
11. 虽然“类人水平的理解”并没有严格的定义，但它似乎并不是基于当今大语言模型学习的那种大型统计模型。
12. 人类概念的确切本质究竟是什么，关于这一问题的争论多年来热度未消：概念究竟是领域特定（domain-specific）且先天决定的，还是更加通用且后天习得的。
13. “大语言模型是否有理解能力”这一争论的关键问题如下：讨论这些系统能否“理解”是不是犯了范畴错误（category error）——将语言个例（token）之间的联结误认为是物理、社会和心理经验个例之间的联结？
14. 随着大语言模型规模越来越大、能力越来越强，对于大语言模型是否拥有理解能力的争论也越发体现出，我们有必要扩展现有智能科学的边界，如此才能容纳更宽泛意义上“理解”的概念，使之既适用于人类，也适用于机器。
阅读原文
2. 随着近期大型人工智能系统，尤其是所谓“大语言模型”的兴起，人工智能社群内部开始了一场激烈的辩论：机器是否能真正理解自然语言，从而理解语言所描述的物理场景和社会场景。
3. 直至不久前，人工智能研究界对于机器理解的问题都尚有普遍的共识：尽管人工智能系统在许多特定任务上都能展现出看似智能的行为，它们并不能像人类一样理解自己处理的数据。
4. 过去几年里，一种新的人工智能系统在研究界崭露头角，它广受欢迎并具有重大影响力，改变了一些人对“机器能够理解语言”的可能性的看法。
5. 这些系统被称为大语言模型（LLMs）、大规模预训练模型（Large Pre-Trained Models）或基础模型（Foundation Models），它们是拥有数十亿到数万亿参数（权重）的深度神经网络，在包括大量网络数据、在线图书馆和其它几TB数据的自然语言语料库训练集中“预训练”过。
6. 这种模型用于生成自然语言，可以进行特定语言任务的微调，或者受到进一步训练以更好地匹配“用户意图”。
7. 大语言模型在拥有足够大的网络和训练数据集的情况下，将会达到人类级别的和理解。
8. 辩论的另一方则认为，就GPT-3或LaMDA这样的大型预训练模型而言，无论它们的语言输出多么流利，它们都不具备理解能力，因为它们并没有对于世界的经验，或“心智模型”（mental model）。
9. 2022年的一项调查显示，自然语言处理领域的研究者在这场辩论中有立场分歧。
10. 对那些认为当前或近未来的大语言模型能具备理解能力的人而言，他们的依据来自大语言模型在几个方面的表现，其中包括对模型回应提示的文本质量的主观判断，以及更加客观的、在用于评估语言理解和推理能力的基准数据集上的表现。
11. 虽然“类人水平的理解”并没有严格的定义，但它似乎并不是基于当今大语言模型学习的那种大型统计模型。
12. 人类概念的确切本质究竟是什么，关于这一问题的争论多年来热度未消：概念究竟是领域特定（domain-specific）且先天决定的，还是更加通用且后天习得的。
13. “大语言模型是否有理解能力”这一争论的关键问题如下：讨论这些系统能否“理解”是不是犯了范畴错误（category error）——将语言个例（token）之间的联结误认为是物理、社会和心理经验个例之间的联结？
14. 随着大语言模型规模越来越大、能力越来越强，对于大语言模型是否拥有理解能力的争论也越发体现出，我们有必要扩展现有智能科学的边界，如此才能容纳更宽泛意义上“理解”的概念，使之既适用于人类，也适用于机器。