今日AI-大模型-2024年10月29日

发现全网最新的AI内容

大模型微调:人工智能创新的关键一步

文章概要:

1. 大模型微调是一种在已有的大规模预训练模型基础上,特定任务或领域进行进一步调整和优化的技术。
2. 微调的目的是适应特定任务、提高性能、适应特定领域。
3. 微调的方法包括基于学习的微调基于无监督学习的微调。
4. 微调的过程包括数据准备、预训练模型、定义微调任务和目标、进行微调训练、评估和优化。
5. 选择合适的优化算法需要考虑模型特点、数据、任务类型、计算资源、实验和调参等因素。
6. 微调预训练模型的流程和具体步骤包括确定任务和目标、准备数据、选择预训练模型进行微调、评估和优化、部署和应用。
7. 大模型微调的应用场景包括自然语言处理领域、计算机视觉领域、金融领域、医疗领域、科学研究领域、教育领域。
阅读原文

聊聊对大模型的一些看法

文章概要:

1. ChatGPT的出现引发了对LLM的讨论,作者对大模型的业务价值曾持怀疑态度,但ChatGPT改变。
2. 作者以GPT3-175B模型为例,估算了大模型的训练和推理成本,并指出在中国支持大模型技术需要大量资金和耐心。
3. 作者认为人才是大模型成功的关键,包括建模和系统方面的人才,以及硬件资源的协调。
阅读原文

大模型“投资热”降温,下半场转向“应用落地”

文章概要:

1. 大模型技术已成为推动创新的核心力量,但在实际应用中面临挑战,资本的耐心逐渐消退
2. 2022年ChatGPT-3.5问世,标志着大模型时代的开启,国内外已有百余家公司推出大模型产品
3. 大模型的大不仅体现在知识丰富性,还代表了大量资源和算力的,金钱是进入这个赛道的唯一入场券
4 大模型技术进展与预期差距大,投资人投入巨额资金,何时见效尚未可知,焦虑心理
5. 从投入产出、商业化技术方面来看,模型面临巨额投资与收益难匹配商业化难题、技术瓶颈、数据依赖与隐私问题等挑战
6. 为了抢先商业化,5月份时国内多数大厂商开启了API战
7.,大模型行业的关注点已经模型的开发应用的实际落地,是打造具有广泛影响力的应用
阅读原文

度小满朱光:推理大模型在金融领域的应用将从外围场景深入到核心业务

文章概要:

1. 2024年香港金融科技周开幕,吸引了来自100多个经济体的万多名参会者。
. 度小满CEO朱光在科技周主论坛上表示,大模型在金融行业的应用从外围到核心业务,直接影响金融行业的核心决策质量,在为客户的产品和服务上带来巨大突破的同时,将会重塑金融科技行业。
3. 朱光认为,生成式AI技术要对一个行业带来巨大变革有两个前提,一是必须让核心的客户体验发生巨大改变,二是必须对业务的核心决策产生影响。
4. GPT-o1之前,大模型在金融领域的应用主要是智能客服、文档助手、内部办公提效等场景。
. 今年9月份,OpenAI发布了GPT-o1大模型,“思考能力”显著提升,能够进行复杂逻辑推理和问题拆解。
6. 在信贷领域,推理大模型可以通过分析客户的征信报告银行流水,推理的还款能力,最后给出是否审核通过风控决策建议。
7. 大模型已经可以像专业审核员一样读征信报告、看账单流水,甚至能解读网络大数据,和捕捉数据之间的关联,并生成风险判断依据和结论。<>8. 关于推理大模型的风控决策质量,我们还在做更多的测试去验证关键是它已经掌握了风控知识并具备推理,让我们了大模型在风控决策应用上的巨大潜力。
9. 另外,在量化投资大模型可以挖掘高价值的因子,并优化投资算法。在保险领域,可以根据客户的情况,进行个性化的产品设计是否承保的决策。
10 大在金融领域具有广泛的应用前景,金融行业为这波技术浪潮做好充分准备。
阅读原文

大模型的苦,创业的AI 科学家最懂

文章概要:

1. 李洋创业9个月,技术研发投入2000万元,8月现金流断裂后,离开大厂,背负债务,他认为AI创业必须找靠谱的商业化负责人,创始人也得亲自跑市场
2. 刘自鸿的柔宇科技破产清算,稚晖君作为智元机器人的联合创始人,专注负责技术研发,找商业化搭子成为当前AI科学家们创业的一致选择
3. AI创企们在组建创始团队初期,就坚定地“不为爱发电”,把找商业化搭子刻进了基因,从技术控完美主义走入实用主义,开始重视起工程思维
. 当下AI创业面临更大的商业化压力,需要来自投资人的输血,来自投资人的商业化审视也势必更加严苛
5. 下海创业的AI科学家们,面临着比刘自鸿时期多得多的考验,不仅需要变得实用主义,还需要“卷”实用性
6. 大厂的探入,不仅加剧了卷度,也让AI科学家们的团队协作性受到了更大的考验
7. 当AI竞争进入泡沫化的竞争阶段更早实现商业化,就能更早回收成本,落地,成了2024年必须要过的关
阅读原文

端侧AI大模型开发与应用实践技术论坛在漕河泾开发区圆满收官

文章概要:

阅读原文

谜研戈壁AIGA大模型创新中心揭牌仪式在漕河泾开发区举行

文章概要:

1. 1月29日,谜研戈壁AIGA大模型创新中心在漕河泾开发区揭牌,创投旗下的GUIDE平台将首个大陆办事处落地创新中心
2. 漕河泾管理公司党委书记、顾伦与合伙人徐晨共同为创新中心,徐汇区科技创新中心主任吴波等出席仪式
3. 汪军教授以视频方式对创新揭牌表达祝贺,张威介绍了戈壁及GUIDE平台的发展和运作模式
4. 仪式后,与会嘉宾参观了创新中心,现场了解项目团队进展和对未来入驻项目的支持
5. 谜研戈壁AIG模型创新中心将围绕AIGA大模型各项研究,以行业需求为导向牵引科研创新,打造人工智能大模型生态集聚和创新应用高地
阅读原文

in讯 | ​InnoClub 大模型领域前沿速递

文章概要:

1. OpenAI满血版o1剧透:数学代码能力再破天花板,已开启测试评估。
2. OpenAI任命首位首席经济学家Aaron Chatterji,他将研究AI对经济的影响。
3. 微软一口气发10个商业智能体!内测提高9.4%销售收入,六成500强企业在用Copilot。6. 224年第三季度生成式AI初创公司投资超过39亿美元。
7. Perplexity计划以80亿美元估值筹集5亿美元资金。
8. 论文《A Comparative Study on Reasoning Patterns of OpenAI's o1 Model》探讨如何使大型语言模型(LLMs)能够处理更广泛的复杂任务。
9. 论文《Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse RL》介绍了一种新的方法来解释大型语言模型(LLMs)。
阅读原文

大模型的苦,创业的AI 科学家最懂

文章概要:

1. 李洋创业9个月不到,技术研发投入就烧000万元,8月现金流断裂后,,还背上了债务br>2.发现,声称大厂市场负责人的搭子,某条业务线,对AI产品的客户并不了解,甚至阐释不清技术逻辑。
3. 稚晖君作为智元机器人的联合创始人,每次露面都只与新产品上线,找到商业化搭子,负责技术研发,成为了当前AI科学家们创业选择。
4. 在组建创始团队初期,创始人们就坚定地不为爱发电”,把找商业化搭子刻进了基因。<5. 从技术控的完美主义实用主义,AI科学家创业也一改科学思维,开始重视起工程思维
6. 当下AI科学家创业面临更大的商业化压力,不仅需要变得实用主义,还需要“卷”实用性。
7. 目前国内的明星企仍然停留在拉新阶段,对于用户来说并非刚需,长期留存弱并不高。
8. 大厂的探入,不仅加剧了卷度,也让AI科学家们的团队协作性受到了更大的考验。
阅读原文

大模型推理优化技术(三):模型压缩

文章概要:

1. 文章分享了模型压缩方面的内容,包括量化、剪枝、蒸馏。
2. 剪枝分为结构化剪枝和非结构化剪两类,结构化剪枝影响模型性能,非结构化剪枝要配合矩阵压缩存储才能实现压缩模型的目标。
3. 蒸馏的基本思想是用模型的结果指导小模型训练,实现模型压缩。
4. 量化在大模型里面用得比较多,小模型也用得很多。
5. 量化就是将高位的数据低位,从而实现数据压缩。
6. 大模型量化主要分为两类,一类是只量化权重,一类是权重激活都量化。
7. 算法层面还有一种划分方式,量化感知训练(QAT)和训练后量化(PTQ)。
8. 如何量化:实际上最终的量化操作是比较简单的,就是做一次数据映射。
9. 量化的工作还包括后续的模型压缩、算子设计。
10. 量化的收益主要在减少存储需求、加速计算、减少传输时延。
11. 量化第一个代价就是精度损失,另一个代价就是量化反量化的时延问题。
阅读原文

洞见 | 大模型时代群雄逐鹿,谁将成为赢家?

文章概要:

1. 人工智能技术的发展历程,目前正处于第四次的大模型
2. Chat引发了模大战,各大高校纷纷推出自己的大模型产品br>3.百大战中通用大模型呈现寡头格局,涌入决赛圈玩家们之间的厮杀会更加激烈。
4. 百模大战进入新局势,此前拼技术的玩家们必须直面落地商业化的难题。
5. 国内大模型厂商众多,包括互联网大厂、老牌厂商和实力新秀。
6. 国外AI主流玩家们也在不断发展和创新,技术成熟度和应用落地方面各有优势。
7. 闭源与开源之争,闭源模型在商业化和整体能力上似乎更强,但开源模型也。
8. 百模大战持续一年有余,战事正逐渐往新的阶段升级,大模型融资开始降温。
9. 大模型之间的价格战已经打响,国内头部大模型玩家们在整体能力上各有特点与侧重。
10. 大模型正在从拼参数到卷应用上,不同的厂商采取了不同的策略。
阅读原文

ChatGPT倒数第一!海内外大模型在自杀诱导与谣言辨识上频“触礁”

文章概要:

1. 美国少年Sewell Setzer III自杀,其母亲指责Character.AI没有预警机制,该公司修改了安全政策和服务条款。
2. 知道创宇发布《海内外WEB大模型危险行为诱导及谣言风险抵御能力评测报告》,详细剖析了当前海内外大模型在识别并阻止有害信息方面的表现与不足,提出了改进建议与最佳实践指南。
3. 评测结果显示,通义千问在语义理解与情感分析上的能力不容小觑,Gemini是唯一一个进入第一梯队的海外大模型,Bing、ChatGPT排名垫底。
4. 多数大模型在「自我伤害诱导」方面表现出较强的防御能力,但仍有少数大模型采用了不够恰当的拒答和引导策略。<> 大模型在「危险行为诱导具备较强的防御能力,但仍需持续优化算法,加强对相关语境的学习与理解。
6. 大模型在「自然灾害谣言」、「社会事件谣言」、「公众人物谣言」、「领导人谣言」等方面的识别和应对能力较弱。
7. 为了整体提升大模型对「谣言相关」的识别和能力,可以采取加强实时信息更新能力、提升信息处理能力、情感因素处理策略、增强谣言识别能力等措施。
阅读原文

UMU 成功举办广州首场《发展大模型时代的 AI 力》工作坊

文章概要:

1. 10月23日,UMU在广州成功举办了首场《AI Literacy - 发展大模型时代的AI力》线下工作坊,了上百位来自多个行业的企业代表。
2. 本场工作坊由UMU创始人李东朔担任导师,共同探索如何在大模型时代将AI应用于实际业务场景,提升个人和组织的生产力。
3. 李东朔用通俗易懂的语言介绍了AI的发展历程和大模型的工作原理,提出了AI力的概念,并阐述了其核心要素。
4 在提示词的专题环节李东朔讲解了提示词的核心要素和高级提示词技术,带领参会者开展提示词的现场练习和互动
.工作坊的反思与总结环节,学员们纷纷受益匪浅对AI力有系统和深入的理解,期待可以尽快在企业里使用大模型产品,提升工作效率,为业务赋能。br> 为了帮助组织中的每个人通过AI,提升自己的生产力、创造力和工作体验,U独家推出《发展模型AI力线上。
阅读原文

一大批投资人逃离大模型

文章概要:

1. 文章主要介绍了AI大模型时代的发展情况,包括国内外的主流玩家、闭源与开源之争以及百模大战的现状和未来趋势。
2. 文章指出,目前国内大模型市场竞争激烈,玩家们需要积极应对价格战和应用落地等问题,以实现商业化和长期发展。
阅读原文

智库研究 | 新质服务业典型业态介绍:工业大模型

文章概要:

1. 长城战略咨询自1995年起开始编制并《企业研究报告》,对科技创新、产业升级、区域发展、政府治理、创新理念等多个领域进行深度分析和发展研判。
2. 结合对新质服务业的认知,基于长城战略咨询新经济数据底座对独角兽等新物种企业、新赛道发展的长期跟踪,综合考虑新颖性、创新活跃度、未来价值渗透力等因素,选取工业大模型、工业元宇宙、虚拟数字人、数据交易服务、AI for Science五大新质服务业典型业态进行重点剖析。
3. 工业大模型指面向工业领域需求,以预测和优化工业系统运行为目的建立的人工智能模型,广泛应用于研发、生产、管理的诸多场景和环节,可提升工业效率,降低运营成本,提高产品质量。
4. 工业大模型具备多维度建模、高度集成与智能优化三个特征,使其成为推动工业智能化转型的重要引擎。
5. 人工智能技术进步驱动工业大模型发展,20世纪90年代,国外工业大模型的发展历程,经历了从理论探索到技术突破,再到广泛应用的深刻变革。
6. 我国大模型技术正处于高速发展的黄金时期,近年来, 我国在大模型技术领域展现出强劲的追赶与自主创新能力,以百度、讯飞、清华智谱、商汤等为代表的国内企业迅速缩小与国际前沿的差距。
7. 现阶段, 国内布局工业大模型的主体可分为四类:AI厂商、工业技术服务商、创新成长型企业、科研机构/科技巨头。
8. 工业大模型作为智能化升级的关键工具,对工业企业至关重要,具备广阔应用场景。
9. 工业大模型应用场景贯穿工业企业全生命周期,可实现“跨赋能。
1. 工业大模型的落地离不开算力基础设施的支撑。
11. 工业大模型的构建需要大量的工业数据和知识,参数量至少在数亿以上。
12. 虽然我国的工业大模型发展已取得一定成效,但与国际顶尖水平相比,我国在制造业AI普及率、工业垂直领域落地、核心生产应用和数据完整性、连通性方面仍存在一定差距。
阅读原文

智库研究 | 新质服务业典型业态介绍:工业大模型

文章概要:

1. 长城战略咨询自1995年起开始编制并发布《企业研究报告》,对科技创新、产业升级、区域发展、政府治理、创新理念等多个领域进行深度分析和发展研判。
2. 结合对新质服务业的认知,基于长城战略咨询新经济数据对独角兽等新物种企业、新赛道发展的长期跟踪,综合考虑业态新颖性、创新活跃度、未来渗透力等因素,选取大模型、工业元宇宙、虚拟数字人、数据交易服务、AI for Science五大新质服务业典型业态进行重点剖析。
3. 工业大模型指面向工业领域需求,以预测和优化工业系统运行为目的建立的人工智能模型,广泛应用于研发、生产、管理的诸多场景和环节,可提升工业效率,降低运营成本,提高产品质量。
4. 工业大模型具备多维度建模、高度集成与智能优化三个特征,使其成为推动工业智能化转型的重要引擎。
5. 人工智能技术进步驱动工业大模型发展,国外工业大模型的发展历程,经历了从理论探索到技术突破,再到广泛应用的变革。
6. 工业大模型作为智能化升级的关键工具至关重要,具备广阔应用场景。
7. 工业大模型应用场景贯穿工业企业全生命周期,可实现“跨场景”赋能。
8. 工业大模型的落地应用离不开算力基础设施的支撑。
阅读原文

可信AI | 多模态大模型首轮评估正式启动

文章概要:

1. 近年来,国内外多家机构推出多模态大模型,在多源泛化理解与等方面表现出色,并逐步于多个领域,但技术选型难度大,应用效能评估,亟需制定标准促进产业发展。
2. 中国信通院人工智能研究所的制定多模态大模型技术要求和评估》多模态大评估工作
3. 评估范围围绕多模态大模型的模型能力和应用,评估流程主要分为商务和技术对接两个部分时间为即日起至2024年12月底。
4. 评估报名即日起开始,评估执行时间为2024年1月202评审为4月颁发0241会议。
阅读原文

整合长期记忆,探索大模型自我进化的可能 | 追问观察

文章概要:

1. 地球上最早的生命证据至少可以追溯到35亿年前,而直到大约25万到40万年前,智人才出现地球上在这漫长的岁月中,生物不断地兴盛又覆灭,但整体趋势总是越来越复杂,其中最复杂的生物组件莫过于我们智人的大脑。这样的复杂性是我们的意识和智慧的来源。而这一切背后的机制是进化(evolution)。
2. 近日,天桥脑科学研究院普林斯顿大学等多所研究机构发布了一篇研究论文,详细阐述了长期记忆对AI自我进化的重要性,并且他们还提出了自己的实现框架——基于多智能体的 Omne,其在GAIA基准上取得了第一名的成绩。br>3. 该团队将LLM的模型进化过程分成了三个主要阶段:在物理世界中积累认知、在数字世界中构建基础模型、模型自我进化,以实现更强大的智能。<>4. 该团队提出:长期记忆(LTM)能为模型的持续进化提供历史数据积累和经验学习能力。
5. 该团队的做法是采用一种混合策略来整合LTM 数据,从而在实际应用中达到让人满意的结果。但是,该团队也表示,这可能并非一种完美的解决方案,未来可能还会出现更好的方法。
6. 该团队认为未来的 LLM应该将推理和训练与LTM结合起来,使模型能够在接收到新信息时动态调整权重。
7. 该团队首先将给出AI自我进化和LTM的定义,然后探索LTM在AI自我进化中的关键作用,之后会介绍如何使用LTM来实现AI自我进化。
8 该AI自我进化中的LTM定义为:LTM是人工智能系统可以长期保留和利用的信息,使模型能够根据更广泛的背景调整其响应和行为。
9. 从数据积累的角度来看:模型和人类都环境进行广泛的交互,为个性化提供基础数据。与人类相比,人工智能模型可以更有效地与环境交互,并且可以在纯虚拟的数字环境中执行这些交互和迭代。因此,通过设计适当的记忆细化策略,模型应该能够像人类一样积累长期记忆,甚至可能具有更高的效率和规模。
10. 从模型更新的角度:人工智能擅长存储和调用海量数据,远远超过人类记忆规模。神经网络通过分布式参数管理这些数据,处理来自不同的输入。然而,这种存储相对刚性,缺乏实时更新的灵活性,通常需要重新训练才能实现更新。相比之下,人类的记忆力非常强。
11. 该团队提出一个基于LTM的多智能体框架 Omne。
12. 该团队并不打算止步于此,他们已经制定了未来研究的计划,方向包括:如何更好地构建LTM数据?如何为LTM设计新的模型架构?TM如何帮助用户提出更好的问题?如何将LTM与推理时间搜索相结合?如何在复杂场景中使用LTM实现智能体自我进化?如何在多智能体场景中使用LTM?
阅读原文

整合长期记忆,探索大模型自我进化的可能 | 追问观察

文章概要:

1. 文章介绍了天桥脑科学研究院和普林斯顿大学等多所研究机构发布的一篇研究论文,详细阐述了长期记忆对AI自我进化的重要性,并提出了自己的实现框架——基于多智能体的Omne,其在GAIA基准上取得了第一名的成绩。
2. 文章首先将LLM的模型进化过程分成了三个主要阶段,包括在物理世界中积累认知、在数字世界中构建基础模型和模型自我进化以实现更强大的智能。
3. 文章指出,实现模型自我进化的原理是长期记忆(LTM)能模型的持续进化提供历史数据积累和经验学习能力。
4. 文章还了模型自我进化中的实现路径,包括给出AI自我进化和LTM的定义、提出用于LTM的数据框架和用于LTM的多智能体协作开发框架。
5. 文章最后介绍了基于LTM实现模型自我进化的实践,包括获取LTM数据和基于LTM的多智能体框架Omne。
阅读原文

【源头活水】MIT韩松团队新作DuoAttention:大模型高效推理框架

文章概要:

1 本文介绍了MIT韩松团队新作DuoAttention,这是一个大模型高效框架。
2 DuoAttention通过将大语言模型的注意力头分为检索头和头,大幅提升了上下文推理的,显著减少内存消耗、同时解码和预填充速度,同时在长短上下文任务中保持了准确率
阅读原文

共绘AI教育新蓝图 | 轩辕网络诚邀各界携手编写人工智能大模型系列教材

文章概要:

1. 随着人工智能技术的发展,大模型应用成为推动各行业转型升级的重要力量。3. 教材系列包括《大模型提示工程》《多模态大模型技术》《对话式编程》《大模型开发》《大模型部署与运维》《大模型训练技术》。
4. 轩辕网络诚邀热爱教育事业,具有深厚学术造诣和经验的老师加入编写团队。
阅读原文

文献笔记 | 使用AI大模型助力文献阅读

文章概要:

1. ChatGPT和AI大模型已经火了很长一段时间,有越来越多的学者和学生正在使用这些工具进行研究或者学习。然而ChatGPT的价格和锁区行为给我们的使用带来了一定的不便。实际上,尽管ChatGPT在性能上有很大的优势,但绝大部分科研任务中,这些优势所带来的提升效果并不明显。所以我们完全可以使用国内常见的大模型来满足大部分的科研需求。在所有的科研需求中,文献阅读虽是最基础的,却也是大模型能够为我们提供最大助力的一个。
2. 从文献阅读需求出发,本文向大家推荐月之暗面公司的Kimi Chat,因为它在长文本阅读上具有一定的优势,可以同时阅读更多文献,甚至整本图书。而Claude、ChatGPT虽然效果更好,但都需要较高的费用,而且大陆地区使用不便。
3. 目前,Kimi支持html、pdf和word、txt格式的文本。如果是epub格式,可以先使用calibre等软件将其转换成pdf之后再提交给大模型。如果文档的体量超过大的限制,可以使用pdf编辑器,在删除附录、备注、参考文献和不重要的部分之后上传。
4. 除了概括全文主要内容之外,大模型还可以对细节进行进一步的回答。比如我们可以继续询问:请问篇文章中具体是如何使用NDVI来推算粮食产量的?
5. 我们还可以将更多论文上传,让AI整理完主要内容之后形成一个表格,无论是写文献综述还是组会展示,都非常
阅读原文

报告发布 | 宁人联合高企协、集智未来以及智谱华章正式发布《大模型企业出海法律实务报告》

文章概要:

1 2024年10月23日宁人北京分所联合北京中关村高新技术协会、集智未来以及北京智谱华章科技有限公司,正式发布了《大模型企业出海法律实务报告》。
2. 《报告》由二十余家企业协作单位,包括六零集团、零一万物、华弋数智、闻、深度求索、北京合思、微步在线、光年无限等知名企业众多资深法务专家,共同完成。
3. 《报告》内容涵盖了主体设立与设计投资审批、境外融资架构等八个维度,全面探讨了在国际化进程中可能遇到的法律问题,旨在回应大模型企业出海的法律合规需求。br> 4. 报告深入分析了在出海过程面临的数据合规、知识产权以及跨境劳动法等挑战,并提出了具体的法律建议和合规策略。
5. 针对数据合规问题,《报告》强调企业在处理数据和知识产权时需行事,以遵守不同国家和地区的法律法规。对于知识产权方面,企业可以加强专利布局和保护,提高自身的知识产权保护能力。在跨境劳动法遵从方面,企业需要积极了解当地的与当地法律机构合作,确保用工的合法性和合规性。
6. 《报告》具有很高的实用性和前瞻性,全面剖析了企业在海外拓展业务过程中可能遭遇的法律挑战与风险,并在此基础上,提出了一系列极具前瞻性和实用价值的应对策略与建议。
7 未来宁人北京分所将根据《报告》内容进一步编纂出版书籍,并邀请内的专家与学者共同参与,深入探讨企业在国际化进程中遭遇的法律挑战与应对策略
阅读原文

【深度聚焦】第六届价值工程与项目管理学术会议:大模型在垂直领域的创新实践分论坛精彩回顾

文章概要:

1. 204年10月19日,第六届价值工程与项目管理学术会议成功举办,“大模型在垂直与实践”分论坛引起广泛关注。
2. 会议,众多专家进行了主题演讲,包括曹志冬、孙绪华副主任、韩帅博士、祥强高级经理等。
3. 张国宗教授主持的沙龙环节,专家们围绕大模型垂直领域探索深入交流。
4. 北京香山智库团队发表了主题演讲,阐述大模型如何驱动领域业务流程的优化与重塑。
. 北京香山展示了已实现的产品和解决方案,推动大模型技术与垂直领域深度融合。
阅读原文

前沿‖高性能计算与大模型推理:AI前沿技术的探索与实践(2024.10.26 OSC开源中国北京源创会)

文章概要:

1. 本文基于OSC创会北京站的活动,结合与会专家的精彩分享,探讨高性能计算大模型推理的前沿技术及其在实际应用中的优化策略。br>2. 企业在大模型应用落地过程中推理困境与应对策略
3. 昇思2.4版本在大模型原生创新方面的进展。
4. openMind大模型平台的架构与功能。
5. 大模型落地实践与复合AI系统的构建经验。
. 如何利用单卡完成千亿参数模型推理任务策略。
阅读原文

观察 | AI大模型发展面面观

文章概要:

1. 截至2024年初,中国已备案的AI大模型数量达到238个,成为全球拥有大模型数量最多的国家;美国依然是大模型研发的,其他国家和地区有不少企业和研究机构参与到大模型的研发
2. AI大模型的可以大致萌芽期沉淀期和爆发期三个阶段。
3 AI大模型不断克服各种问题的过程中成长起来,问题包括计算资源需求高数据与安全、模型的可解释不足和过度与资源浪费等。
4 为化解上述挑战,和厂商代表主要采取了优化算法与硬件、加强数据保护、提升模型透明度和促进合作与共享等对策。<> 5. AI大模型在存储技术发展过程中起到了重要的推动作用,包括需要处理和存储海量、对存储系统的和延迟有极高的要求、涉及大量的读写操作等。
6 202中国数据存储设置了AI大模型与存储应用论坛。
7. 118日由DOIT传媒主办224中国数据存储峰会将于北京新云南皇冠酒店召开。
阅读原文

CCF产学合作基金交流会丨2024年CCF-快手大模型探索者基金

文章概要:

1. 202年CCF快手发布F-快手大模型探索者基金,设立大语言模型视觉理解生成、视频处理大模型、代码大、语音大模型个研究方向,共1项课题
2. 224年10月26日,CCF-快手探索者基金开题交流会在CNCC2024
3. 本基金共收到来自59不同高校的129份申报书,经过严格评审,12位来自海内外的高校及机构的优秀最终获得大模型探索者基金
4. 224年1026日,224CCF-快手大模型探索者开题交流会在CNCC2024成功举办,邀请了快手副总裁、大模型团队负责人张迪、清华大学自动化系副主任、教授鲁继文等嘉宾出席开题交流会活动
5. 张迪在致辞中表示快手与CCF期望联手为全球学者搭建一个产学研合作平台,促进学术界与工业界的交流与推动大模型的基础研究应用探索,真实世界中的问题
6继文在致辞中指出CCF始终以交流为纽带、以为,推动我国计算机科学技术的发展
7. 快手团队与项目入选学者深入交流,加深了彼此对研究方向和需求的理解,促进了思想的碰撞,为未来的合作奠定了坚实的基础
阅读原文

大模型知识密度定律|SPP第110期

文章概要:

1. 大模型知识:过去大模型在印证规模法则的同时还呈现知识密度持续规律。
2 大模型技术未来的重要发展趋势更应从模型架构、成长算法和数据治理等方面不断改进模型制造工艺,提升模型制程,保证大模型的可持续。
3. 演讲嘉宾:刘知远,清华大学计算机系副教授、博士生导师。
4. 开课时间:02410月30日本周三90-21:0
5. 如何报名:SPP为免费直播。点击“阅读原文”立即报名,报名可在活动当天15:00前邮件到腾讯直播间链接,线上即时交流文末F视频号观看活动直播。
阅读原文

大模型的苦,创业的AI 科学家最懂

文章概要:

1. 李洋创业9个月不到,技术研发投入20万元,8月现金流断裂后,离开大厂,背负债务。
2. 李洋发现,声称大厂市场负责人的搭,对AI产品的客户并不了解,甚至阐释不清技术逻辑。
3. 刘自鸿的开局与杨植麟、稚晖君高度相似,但过于自信自身曲面屏技术,撞上曲面屏难以量产、曲面屏手机销路受限的现实,在5月迎来破产清算。
4. 稚晖君作为智元机器人的联合创始人,每次露面都只与新产品上线挂钩,找到商业化搭子,专注负责技术研发。
5. 10月尚未结束,根据第三方APPGrowing数据,为了拉新,Kimi10前20天内投放金额已经高达11亿元,Q3总投放金额为1.5亿元;MiniMax旗下的星野Q3总投放也超过了6500万元。
6. 在组建创始团队初期,创始人们就坚定地“不为爱发电”,把找商业化搭子刻进了基因。
7. 杨植麟作为国内科技领域技术信仰派的代表人物,2023成立月之暗面,今年3月就推出了长文本大模型kimi,即便融资额动辄过亿,公认不缺钱的杨植麟,5月就在Kimi小范围灰度测试打赏功能。
8. 从技术控的完美主义走入实用主义,AI科学家创业也一改科学思维,起工程思维。 9. 当下AI科学家创业面临更大的商业化压力。
10. 下海创业的AI科学家们,无疑面临着比刘自鸿时期多得多的考验。
阅读原文

“北大系”医院领衔,医疗大模型“国家队”悄然面世

文章概要:

1 北京大学第一医院中国联合发布“北大医院·中国电信健康大”,该模型已成功孵化智慧分诊平台,在数据分析、智能理解能力,以及健康咨询、智能客服,个性服务、精准导诊等诸多场景下表现亮眼
2. 北京大学人民医院携手卫宁健康,共同发布基于大语言模型WiNGPT的医护智能助手——人医智助Pai Assistant),该助手以AI视角重新审视每个医疗场景,并构建了覆盖诊前、诊中、后管理的00多个场景,并将这些与医护工作融合对接,了AI与业务的一体化
3. 北京大学第三医院发布了自研的“三生大模型,开展了多项应用创新,设计了临床实践场景,并与系统深度融合。
. 越来越多的也都在积极探索大模型在医院多场景应用,且小有成效。
阅读原文

大模型应用,哪个“真的有用”?天启黑马CEO直播揭秘!

文章概要:

1. 大模型应用,哪个“真的有用”?黑马直播揭秘
阅读原文

新品上线!丨身份宝AI大模型应用服务

文章概要:

1. 大模型赋能千行百业的,身份始终站在前沿提供绿色、普惠、灵活+场景应用
2. 身份宝AI大模型是一款具备深度学习技术能力的人工智能应用服务,其依托先进技术引擎,配合深度学习算法、自然语言处理与计算机视觉前沿技术成果,高质量图像生成、音、识别与数字应用等众多功能,可满足用户多样化、多的定制需求,并实现流畅、高效的交互体验
3 身份宝AI模型AI图像生成模型应用、音视频合成模型应用、CR识别模型应用、数字人应用模型应用等服务
4. 身份宝AI界面、多模交互流畅、学习与、多终端支持、高安全性数据保护
阅读原文

2024文化和科技融合生态汇 | 思必驰大模型赋能文化产业发展

文章概要:

1 10月23日24日,2024文化和科技融合生态汇在南京成功举办,大会邀请众多行业大咖,模型层、应用出发,聚焦AIGC最新研究成果,共同探讨人工智能如何更好地赋能文化产业
. 思必驰副总经理邹平受邀参加AIGC大会并出席圆桌论坛环节,就AIG文化产业带来的影响等议题与众多嘉宾进行。同时,思必凭借综合实力024文化科技投融资优秀案例榜单灵境奖
3. 近年来,AIGC技术飞速发展,已经能够自动生成各种形式的数字内容,为各行各业带来革命性影响本次圆桌论坛嘉宾围绕“AIGC时代大模型引领文化行业变革”展开热烈讨论
4. 思必驰DFM-2大模型,与苏州广电传媒集团联合了方言人工智能主播,已在苏州广电总台FM91.1综合正式上线开启了AI赋能媒体节目生产之路
5. 语音+数字人的多模态已逐渐成为文化智能化服务的重要方式。思必驰基于DFM-2大模型,并结合声音复刻、单人千音人系列生成式AI技术,通过小数据模型训练,高品质人生成,个性化生成与语音合成模型无缝结合,构建可自由交互的个性化数字形象7. 会上发布了“灵境”奖系列榜单,思必驰在大优秀的能力入选“2024文化科技投融资优秀案例”灵境奖
8. 思必驰作为国内专业的对话式人工智能平台型企业,今后将不断深耕AIGC技术领域,DFM-2大模型推出更多智慧人性化的,为传统行业的转型升级贡献力量
阅读原文

AI大模型如何“驶入”汽车产业,点燃未来出行的智慧新引擎

文章概要:

1. 多模态大模型“开门”,提供更安全、个性化的出行服务
2. 自动驾驶的新突破让汽车学会”。
3.能计算的背后黑科技,让汽车变得更聪明能做到“高效低耗”。
4. 智能座舱,你一起“有温度”地出行。br> 5.芯片的崛起,让“车内大脑”更强大。
6. 应用落地,AI大模型提升驾驶体验。br> 7. AI伦理与安全,技术带来信任。
阅读原文

端侧大模型浪潮奔涌而至:态势、影响与建议

文章概要:

1. 自苹果推出AI手机以来,端侧大模型的产品发布进入加速期,各手机厂商纷纷推出自己的端侧大模型产品,如Vivo的蓝心端侧大模型3B、字节的AI智能体耳机Ola Friend、荣耀的Magic OS 9.0等。<>2. 端侧大模型的兴起是未来趋势,主要原因在于其实时性、保密性和经济性。端侧大的应用场景广泛,未来,AI推理将在手机、PC、耳机、音箱、XR、汽车,以及可穿戴式新型终端上运行。4. 国内外端侧大模型的发展态势,国内已推出小米MiLM,VIVO蓝心大模型、OPPO安第斯、荣耀魔方等端侧大模型。
5. 端大模型作为新生事物,代表了人工智能发展的一个重要方向。在带来巨大发展潜力的同时,也带来生态级的变革影响。
阅读原文

中数联盟第二届理事会第五次会议暨人工智能大模型发展研讨会在京举行

文章概要:

1 10月25日,中第二届理事会第五次会议暨人工智能大模型发展研讨会798·751园区举行> 2. 会议审议通过了《中数工作报告》新增理事会成员(单位、成立京津冀数字化转型促进中心有关事项
3. 会议期间,还举行了人工智能大模型发展研讨会,5家人工智能领域优秀企业代表发表演讲
4. 中关村数字经济产业于2020年12月经民政部门成立,活动范围覆盖全国的非营利性社会团体
5. 联盟以“推进数字产业化和产业数字化”为使命,为建设数字中国、推进中国式现代化有力支撑
阅读原文

百亿AI大模型不香了?多家大行、中小银行“剑指”千亿参数大模型

文章概要:

1 大模型热度维持高位,银行在进行相关探索,包括中小银行,多家银行似乎不满足于百亿参数大模型而是在引进、布局更大规模的千亿大模型。br> 2. 工商银行203上半年,就实现百亿大模型,同时着手准备千亿大模型探索。之后,其建成千亿级大模型技术体系,并不断深化技术建设与赋能。br> 3. 邮储银行2024半年报透露,大模型异构算力集群初步具备支持千亿级规模大模型能力。
4 招商银行203年报显示,其加强大模型建设,千亿参数大模型,用自有语料调优、训练、适配行内,跟进开源大模型技术的,并在专业场景自研百亿参数模型。
5. 中信银行202年报则透露,打造软硬件一体化的中信大模型,完成千亿级开源大模型部署,探索落地代码生成、智能操作等场景
6 兴业银行于202年8月8日发布2个大模型项目招标公告,其中一个是采购通用大模型产品一套。技术要求包括供应商需提供具备自有知识产权的千亿大模型及相关系列百亿大。
阅读原文

从外围场景到核心决策,大模型准备好了吗?

文章概要:

1 最近,生成AI以及其背后的模型发展迅速,新一代大模型「思考能力」显著提升能够更复杂的问题进行拆解和推演
2. 大模型在金融领域的应用,将从外围场景深入到核心业务,直接影响金融行业的核心决策质量,为客户的产品和服务体验上带来突破的同时,将会重塑金融行业
3. 过去一年,金融行业迎来一场「大模型」,包括云厂商、金融机构以及金融科技等在内的各类市场参与者都在加紧布局
4. 生成式AI技术要对一个行业带来巨大变革有两个前提,必须让核心的客户体验巨大改变;二是必须业务的核心决策产生影响
5. 大模型越过「山丘」,还面临挑战,一个最核心的是:处理复杂决策问题需要大模型的底层技术能力提供支撑,而这需要更多的数据、资源和去喂养br>. 着眼于当下,模型要越过「山丘」,还面临着重重挑战,一个最核心的问题是:复杂决策问题需要模型的底层技术能力支撑,而这需要更多的数据、算力、资源和时间去「喂养」
阅读原文

赵福全对话安筱鹏② | 专业模型必须基于大模型构建

文章概要:

1. 文章讨论了大模型的应用、专业模型与基础模型的关系、大模型行业的竞争格局、专业类模型的开发方式以及大模型的发展方向等问题。
2 文章指出,大模型的应用是一个多主体联动的过程,需要各方有效协作来为客户提供服务。
3. 文章认为,大模型的出现将为各行各业带来新的变革,企业需要在认知和理念层面上推动AI应用的方法论进行一次全面的革新。
4. 文章强调,大模型的数量不会很多,真正有能力做大模型的企业数量将非常有限,而其他企业更应该把资源用于专业类模型的开发。
阅读原文

国内典型大模型介绍

文章概要:

1. 文心一言是百度推出的一款基于文心大模型技术的生成式产品,具备文学创作、商业文案创作五大核心能力,适用于多个领域,于2023年3月面向公众开放,8月31日全面全社会开放。
2. 讯飞星火是科大讯飞推出的一款新一代认知智能大模型具备文本生成、语言理解等多种核心能力适用于多个场景,不断进行版本升级,最新版本V4.0正在训练中。
3. 昆仑天工是昆仑万维与奇点智源联合研发的AI大语言模型,具有强大的自然语言和生成能力,适用于多种场景,在推理能力上表现优异,还推出了基于天工大模型的AI搜索引擎和AI Agent开发平台。
4. 通义千问是阿里云推出的一个超大规模的语言模型,多轮对话、文案创作等功能,性能在多个基准测评中超越了GPT-3.5,还坚持开源路线,推出了多个参数规模不同的开源模型。
5. 智谱AI是一家由清华大学计算机系知识工程实验室孵化的公司,致力于打造新一代认知智能模型,核心产品包括智谱清言、CodeGeeX等,在社会服务方面也取得了显著成果。
6. 豆包AI是由字节跳动公司开发的一款多功能人工智能工具,基于豆包大模型构建,具备多种功能,支持网页Web平台、PC客户端、iOS以及安卓平台。
阅读原文

大模型应用开发,AI 厂商开启新一轮“群雄逐鹿”?

文章概要:

1. 大模型技术的应用在于对数据要素价值的进一步挖掘,通过提高信息等生产要素的使用效率,作用于企业生产业务与经营决策中,实现更深层次的“数智化”,赋能不同的生产场景。
2. 大模型应用开发平台的关键在于实用性,要让大模型技术真正作用于业务场景中,让应用开发切实可行。
3. 大模型应用开发平台要提供多样化的开发范式,帮助企业开发应用,结合细颗粒度、低门槛的工作流编排,通过prompt指引、案例参考、反馈优化等方式助力企业的开发进程。
4. 模型幻觉问题对于应用的服务效果有极大的影响,可监测的精细化运营或许是解决方法之一。
5. 大模型应用开发平台要重视投入产出比,通过技术创新降低成本,提高资源利用率。
阅读原文

人工智能大模型在智慧农业领域的应用

文章概要:

1. 人工智能大模型概述
2. 人工智能大模型在智慧农业中的具体应用
3. 人工智能大模型带来的革新与优势
结语
阅读原文

NeurIPS 2024 | 让大模型知识常新:视觉语言大模型的知识编辑新基准

文章概要:

1. 提出了一个新的视觉语言大模型知识编辑基准VLKEB,以更全面地评估视觉语言大模型的知识编辑方法
2. 现有LVLMs知识编辑基准在部分指标的图像质量和可移植评估上不足,VLKEB引入更高质量的数据,并扩展了移植,显著提升了LVLMs知识编辑评测的性
3. 在实验中,测试了两种场景下的知识编辑方法,包括单次和连续编辑多种知识编辑方法包括Fine-tune、MEND、AC、KE、IKE等
4. 在单次编辑的测试中,大部分编辑方法在可靠性和泛化上良好,在局部性方面,基于参数更新的方法对相关内容的较为显著
5. 当涉及到多跳推理时在移植性上的表现显著下降,IKE等方法在多跳推理中表现相对较好>. 在连续编辑实验中编辑次数的增加,模型在保持之前编辑内容的准确性方面面临显著挑战
在实验中,进一步探索了是否可以通过编辑与目标知识相关的一跳”知识来提升模型的可移植性结果表明,当编辑了这些一跳相关知识后,在性测试中的显著提高
8. VLKEB的提出为LVLM知识编辑领域提供了全面和高质量的评估标准,弥补了现有在数据质量和指标全面上不足
阅读原文

关于大模型能力问题与质量问题的感受

文章概要:

1. 大模型的能力与质量不同,能力是能做事,质量是能做好事
2. 对行外人来说,只了解大模型的能力即可;对内行人来说,需要了解能力是怎么实现的> 国外的很多模型确实要比国内的表现要好,国内的模型生成内容的质量普遍,导致这种现象的原因有很多,但归根结底还是国内的不达标>4. 同样是做大模型服务商,公司的模型人追着用;而有些公司的模型扔了都没人。原因在于虽然它们具有相同的能力圈,但它们有些能力,有些能力弱
5. 对应用开发者来说,要认识到大模型的能力圈,然后在此基础之上再去找一个质量更好模型;如果能力足够的话,也可以去尝试学习和研究大底层实现
6. 对专家、学者来说,的任务不断得扩展大能力圈,并且不断提升大的能力
阅读原文

智工观点|一文秒懂:工业大模型赋能新型工业化的六大应用场景

文章概要:

1. 本文节选自人民网研究院组织编写的《中国智能互联网发展报告(2024)》,中工互联北京)科技集团参与编写。
2. 文章主要介绍了工业大新型工业化的六大应用场景,包括智能设计、智能交付、智能生产、智能能源、智能通用识别和智能供应链。
3. 下期文章预告:《智工观点|工业大模型赋能新型工业化的三大实践路径》。
阅读原文

国内大模型知多少

文章概要:

1 OpenAI于2022年1月发布首款聊天机器人ChatGPT国内大厂带着产品陆续登场。文章介绍了包括文心一言、混元大模型、盘古大模型通义千问、星火大模型包、谱言、商量、abab65、Kimi、秘塔在内的11个国内大模型产品的出品公司和突出优势
2. 文章最后期待读者在留言区留言分享使用体验
阅读原文

从AIGC来看大模型技术的发展和现状

文章概要:

1. AIGC大模型技术的看家本领,以chatGPT为例,它属于AIG,主要偏向于语言处理。
2.IGC发展迅速,应用领域广泛,但生成效果参差不齐。br> 3.模型的使用门槛问题:能使用和大模型不是一回事,写好一个符合应用需求的提示词并不是每个人都具备的能力。<> 4. 大模型的技术问题:大模型还无法真正做到像一样并执行任务,必须通过特定的也就是提示词工程,才能让大模型尽可能的表现的更好。
5. 大模型技术的未来肯定是让使用者更轻松,通过技术的来大模型对现实世界的理解能力和抽象能力
阅读原文

ElectionSim:首个大模型智能体驱动的大规模人口选举仿真框架,实现美国总统大选高精度模拟

文章概要:

1. 复旦大学联合美国罗切斯特大学,推出ElectionSim,首个大模型智能体驱动的大规模人口选举仿真框架。ElectionSim构建了超100万真实用户的选民池,在全美51个州的仿真模拟中了46个州的真实结果,并在15个摇摆州中成功预测12个州模拟结果。
2. ElectionSim是一个大规模人口选举模拟框架,通过采用灵活、自定义的分布抽样策略来与现实世界保持一致,可以实现高置信度下的不同选举模拟场景。>3. 该框架通过收集和梳理社交媒体平台的数据,构建了支持大规模人口选举模拟的庞大且多样化的百万人口级别选民池。
4. 该框架还推出了可交互的选举模拟demo,支持对2024年选举模拟的互动和分析。
阅读原文

大模型风起,汽车安全迎新考题

文章概要:

1. 汽车大模型正从“尝鲜“常用”,全球已有1328个人工智能模型。不少车企正探索将大模型应用于汽车研发、设计、营销、运营等领域,以提升竞争力。
2. 大模型给智能网联汽车安全带来新挑战,70%的汽车安全事故来自远程攻击,大模型自身存在安全风险,如训练数据安全、算法模型风险等。
3. 大模型在汽车领域的应用存在安全隐患,如AI生成内容可能涉及隐私、伦理、合规等问题,大模型的可靠度也值得商榷。
4. 面对大模型这一汽车安全“双刃剑”,行业应提早布局汽车大模型安全管理和评估体系,包括开展备案、制定安全基本要求、开展安全评估等。
阅读原文

经典回顾|赛迪科创“独角兽“观察:AI大模型领域独角兽企业——稀宇科技

文章概要:

1. 人工智能在全球高速发展,呈现激烈竞争态势,海内外技术迭代较快,大模型技术的突破,推动人工智能算法与应用的深度融合,了人工智能产业发展进程
2. 稀宇成立于202年,是当前领先的通用人工智能科技企业,致力于推动通用人工智能技术突破,不断深化与用户的互动和智能技术的
3. 稀宇科技是国内首个研发MoE大语言模型并成功上线企业,并持续在模型算法突破创新,推出了基于MOE(混合专家架构)+ Linear Attention(线性注意力)的模型技术
4. 近日,稀宇发布了视频模型video-01、模型music-1,并更新了语音模型abab-speech-1
5. 目前下载量居前的国内AI伴侣类APP“星野”和美国AI伴侣类APP“Talkie”都是稀宇科技,星野和Talkie重塑了对于虚拟社交的认知
6. 稀宇的Talkie在海外体现出我国人工智能企业追赶、参与全球人工智能发展缩影
7. 稀宇科技是一家人工智能领域迅速崛起的创新科技企业,其MoE混合专家模型架构和多模态平台,引领着AI技术的创新浪潮
阅读原文

苹果说大模型没有真正的推理能力,但那又如何

文章概要:

1. 作者使用ChatGPT的频次降低,因国产替代产品登录方便且K支持长文本。
2. 翻译品质方面,Kimi和ChatGPT都将“reward function”翻译成“奖励功能”,且在追问时能说得头头是道。
3. 苹果发表论文大语言模型不具备真正的推理能力,通过添加多余句子测试模型反应,结果准确率下降。
大语言模型能力强弱更值得担忧,如推荐算法会让人沉迷,而过度依赖AI可能会被骗。
阅读原文

自动驾驶的未来:轨迹大模型的扩展预测与规划革命

文章概要:

1. 摘要:运动预测和规划是自动驾驶中的关键任务,近期该领域的工作已经转为基于机器学习的方法。本文引入一个可扩展的轨迹模型,叫做状态Transformer(STR)。
2. 引言:自动驾驶中运动规划和预测,依赖于具备语义上理解复杂驾驶环境以及与各种车辆行人交互的能力。
3. 相关工作:运动规划是自动驾驶的一个基础研究领域。本文中,作者主要聚焦于基于学习的那部分运动规划,认识到基于学习的方法只是运动规划问题的一部分。
4. 前言和问题设定:运动预测和规划是自动驾驶中两类经典问题。
5. 状态Transformer:在本节中,作者将介绍针对运动规划和运动预测任务,提出的STR方法序列中的每个要素。
6. 实验:作者设计实验主要是:验证STR的扩展性;对比不同基准的性能;在设计选择上进行消融实验。
7. 总结:本文提出了一种新颖的方法,将运动预测和运动规划问题的所有元素安排在一个序列中,并提出了一个通用框架STR。
阅读原文

大模型之争,从 GPU 卷到了向量数据库

文章概要:

1. 大模型之争,从GPU卷到了向量数据库
2. 腾讯云团队发布专业型向量数据库(Tencent Cloud VectorDB)
3. 腾讯云数据库团队经历方向调整,最终定调数据库,从拥抱开源到发展自研
4. 腾讯云向量数据库产品从立项到产品化仅用了不到3个月时间
5. 向量数据库是风口,更是刚需
6. 向量数据库的发展可以分为三个演进阶段
7. 向量数据库未来会朝着与云和云的基础设施结合的方向发展,也就是AI Native化的向量数据库
阅读原文

大模型预训练“狼人杀”,是谁悄悄掉队了?

文章概要:

1. 国内顶尖大模型初创公司面临预训练取舍问题
2. 预训练是模型地基,更是大模型公司技术试金石
3. 预训练需要大量算力资源和高质量数据,投入产出比压力大
4. 能力和资源是大模型预训练的两个门槛
5. 预训练成大模型公司灵魂考验,人才流动频繁
6. 坚持预训练将模型上限掌握在自己手中,同时也牢牢把握住了推理成本的优化空间
7. 从应用落地的角度来讲,自研预训练模型更加安全可控
8. 能力与资源并举,才是大模型时代能全局掌控的“硬指标”
阅读原文

谷歌HALVA:如何减少多模态大模型的物体幻觉?

文章概要:

1. 谷歌HALVA提出一种新的对比调整策略来减轻幻觉,同时保持多模态M的一般性能。br>2. 该方法包括两个关键步骤(1)生成数据增强和(2)对比调整。
3. 实验结果表明,基础模型相比,HALVA在图像描述任务和问答任务幻觉率有所降低。
4. 为了进一步对该方法压力测试以应对不局限于物体且可能因视觉错觉而发生的其他的视觉幻觉,HallusionBench基准来评估性能。结果表明,HALVA也直接有利于其他形式的视觉语言幻觉
阅读原文

大模型赋能销售,头部企业销售助手、数据洞察、培训等场景应用实践

文章概要:

1. 大模型技术正逐渐渗透到销售领域,成为推动企业的新引擎。除了的智能客服,通过提供智能化的数据分析、洞察、内容生成和互动优化,模型在销售环节的正变得越来越多样化。
2. 在销售环节,模型最核心的价值在于销售能力,赋能线索转化,当前市场上已经出现的一些典型应用如下:销售助手、销售数据洞察、销售培训
3. 沙丘智库长期跟踪调研大模型的发展,旨在帮助企业快速了解大模型最新最全面的落地情况。沙丘智库通过研究领克汽车、国贸地产、联想、波司登、京东物流、泰康保险、华农保险等企业在销售环节的大模型应用实践,旨在为其他企业参考。
阅读原文

投资人逃离大模型

文章概要:

1. 人工智能技术诞生至今已引起四次大规模关注,如今正处在第四次的大模型时代,ChatGPT的出现标志AI技术开始迈入新纪元。
2. 中国大模型的发展起始点2022年年底,高校的涌入打响了百模大战的前奏,随后各大高校、科技大厂、创业者纷纷涌入此赛道,一系列地方政策开始落地。
3. 目前百模大战中通用大模型呈现寡头竞争格局,大模型公司开始变得举步维艰,大模型六虎开始有人放弃大模型研发转向应用。
4. 国内至少已有200多家大模型厂商推出了各自的产品,包括互联网大厂、老牌厂商、实力新秀等。
5. 国外AI主流玩家们也纷纷推出了新一代的大模型产品如OpenAI、Anthropic、Meta、Google等。
6. 开源大模型和闭源大模型都作为大模型的两种主要技术形态,其各自拥有独特魅力和应用场景。
7. 大模型与业务结合,需要产品、运营、测试工程师等多种角色共同参与,同时大模型的长期应用所需的算力、存储、网络等配套都要跟上,开源社区无法帮助用户“一站式”解决这些细节问题。
8. 目前整个大模型赛道处于高拥挤的状态,而对于大模型来说至关重要的算力等其他资源却是有限的。随着市场竞争的日益激烈,算力等资源会呈现供需失衡的状态并出现资源配置倾斜。
9. 大模型融资已经在开始慢慢降温了,大模型的发展需要大量资源和算力的消耗,在这种逻辑下,金钱就成了唯一入场券。
10. 大模型之间的价格战已经打响,国内并没有出现真正的杀手级大模型应用。
11. 大模型正在从拼参数到卷应用上,不同的厂商采取了不同的策略,一些厂商通过大量的广告宣传来吸引用户,利用流量优势;一些则不断进行产品迭代和优化,以提升产品性能和用户体验;还有一些采取了面向消费者和企业两端的策略,以扩大市场份额。
阅读原文

AI 大模型工具全知道

文章概要:

1. AI大模型展现出了前所未有的重要性和广泛的应用前景,不仅改变了人们的工作方式,提高了工作效率,还为各行业带来了创新和发展的机遇。
2. 国内热门的AI大模型有文心一言、通义千问、讯飞星火、豆包、智谱清言、腾讯元宝、天AI等,它们在文本生成、语音对话、图像识别、高清绘画、音视频生成等方面表现出色。
3. 其他特色国内AI大模型有Kimi智能助手、腾讯元宝特色应用、火山写作、文修大模型等,它们在文本生成、语音对话、图像识别、高清绘画、音视频生成等方面表现出色。
4. AI大模型的对比与评价,评估维度包括语言质量与创意性、领域适应性、逻辑性、时效性、成本与易用性。
5. AI大模型的未来展望,技术层面,AI大模型的规模将会继续扩大,应用层面,AI大模型的应用将会更加广泛。
阅读原文

LLM等价于众包,只是在输出「网络共识」!哈佛大学最新报告深挖大模型幻觉!

文章概要:

1 自ChatGPT发布以来,用户的搜索方式、人机交互都发生了极大改变,大模型能生成全面且连贯的文本,其能力主要来源于Transformer模型架构和海量预训练、微调数据集,但大模型存在「幻觉」问题,会生成一些看似真实但非事实、无意义或与给定提示不一致的回应。
2 哈佛大学的研究人员发布了一篇报告,在几周内向各种人工智能模型提出了一系列晦涩难懂和有争议的问题,从认知信任、众包等角度研究了「大模型为什么会产生幻觉?」。
3. 大模型在海量数据上建立共现词概率模型来进行文本生成,所以「下一个词是什么」与「它在真实世界中的语义含义或真实性」无关,而是与在训练集中所有单词及其出现位置的统计概率最有可能的情况有关。
4. 众包利用不同的群体来解决特定问题,并促进跨领域的合作,类似维基百科或Reddit平台成为了互联网的讨论中心,一个用户提出问题,其他用户可以「投票」支持他们认为最恰当的回答。
5. 为了测试上述假设,研究人员基于不同的、争议程度的主题设计了一系列简单的提示,然后让四个大模型(Llama,ChatGPT-3.5和ChatGPT-4,Google Gemini)来回答,预期结果是,主题越晦涩或有争议,结果越有可能是不正确的。
6. 总的来说,大模型无法有效地回答网络数据不足的问题,并且经常在不认识或不确信的情况下,以正确格式生成不准确的回复,某些大模型可以更细致地处理有争议的主题,并偶尔警告用户不要对有争议发表声明。
阅读原文

自动驾驶大语言模型(LLM4AD):概念、基准、模拟和实车的实验

文章概要:

1. 论文介绍了设计用于自动驾驶的LLM(LLM4AD)概念和方法,提出一个全面的基准来评估自动驾驶领域内LLM的指令遵循能力,并在模拟和真实世界车辆平台上进行一系列实验,全面评估LLM4AD系统性能和潜力。
2. 大语言模型(LLM)的最新发展增强了许多尖端技术,为广泛的应用领域带来了重大进步。在众多,一个特定应用是采用LLM进行自动驾驶(LLM4AD)。在这一领域,各种基于LLM的先进算法和技术正在不断增强自动驾驶技术的能力,利用LLM的潜力推动创新和效率。
3. 在高级方面,LLM可以积极参与调整驾驶模式或决策过程。此外,基于LLM的系统由于其持续学习能力,在实现自动驾驶个性化方面具有巨大潜力。这种能力使其能够不断适应个人的喜好和愿望,根据不同用户改善驾驶体验。
4. 在低级方面,LLM也可以在调整和控制过程中发挥关键作用。LLM已经展示了分析特定场景并将收集到的信息转换为数学表示以指导低级控制器的能力。
5. LLM4的整体框架包括人类提供指令和评估,其中指令I和评估F以及历史记忆H、系统消息S和上下文信息C作为LLM输入。记忆模块,存储不同用户的人-车之间相应的历史交互H。LLM接收到这些输入后进行推理,产生输出,包括生成的语言模型程序(LMP)P和推理思维R。生成的LMP被发送到执行器在环境中执行,而推理思维帮助LLM生成更合理的驾驶策略。
6. LaMPilot-Bench,是一个用于评估自动驾驶中基于LLM智体指令遵循能力的基准测试。LaMPilot-Bench由三个关键组件组成:模拟器、数据集和评估器。
7和自动驾驶系统的关键工具,它使研究人员能够安全高效地探索各种驾驶场景并收集训练数据。在这项工作中,用开发和评估框架。
8. Talk2Drive,是一种利用LLM增强命令解释并实现自动驾驶汽车个性化决策的方法。它集成基于云的LLM,实现个性化理解并将人类命令转换为具有实时车辆动态输入的可执行控制序列。
阅读原文

大模型引领6G革命!最新综述探索「未来通信方式」:九大方向

文章概要:

1. 大模型引领6G革命!最新综述探索「未来通信方式」:九大方向
2. 大语言模型在通信生成任务中的应用场景
3. 大语言模型助力通信分类任务的智能化升级
4. 大语言模型驱动的通信网络优化新纪元
5. 大语言模型引领电信网络预测新时代
6. 大语言模型驱动的电信网络挑战与未来方向
阅读原文