今日AI-大模型-2024年10月20日

1. 本文为作者在2024全球产品经理大会（PM-Summit）上的主题演讲，探讨了大模型对计算产业的影响，包括计算范式、开发范式和交互范式的转换。
2. 大模型驱动的AI技术革命带来了三大范式转换，这也是IT行业感到“热辣滚烫”的原因。作者重点谈论了对产品影响最大的交互范式的变革，以及多模态和Agent等创新技术。
3. 作者还提出了“范式转换立方体”的概念，分析了大模型不同领域的颠覆力度和节奏，以及在娱乐、社交等领域的创新机会。
4. 作者重提了计算和连接的“钟摆效应”，并指出互联网时代的产品逻辑和模式终将在AGI时代被颠覆。
5. 作者认为大模型将驱动互联网从“信息网络”演变为“行动网络”，产品形态也将发生变化，未来的产品经理需要从面向人类的需求设计产品，转变为面向智能体的需求来设计产品。

1. 大模型发展呈现“规模定律”，Transformer为技术基座
. Transformer是LLM基座，核心优势在于Self-attention机制
3.PT系列模型技术发展历程回顾
4. 全球大模型竞争白热化，国产大模型能力对标GPT-3.Turbo

1. 大语言模型在数字化时代扮演重要角色，本文探讨其数据工程，包括数据处理、模型训练和提示词工程等方面
2. 介绍了大模型研发中的数据工程，包括预训练、微调、RAG和推理阶段的数据处理和应用
3. 预训练阶段使用通用文本和专用文本，需要进行质量过滤、去重、隐私去除和分词等预处理
4. 继续预训练阶段需要清洗领域语料，包括数据设计、训练方法设计和数据增强等
5. 微调阶段构建指令格式，包括任务描述、输入输出和示例等，指令实例的质量对模型性能有重要影响
6. RAG阶段将模型与检索模块结合使用，处理事实知识，提高模型的可靠性
7. 推理阶段数据参与提示工程，需要考虑任务描述、输入数据、上下文信息、提示风格和示例等关键要素
8. 将SBOM概念扩展到AIBOMs，提高透明度和风险评估
9. Prompt、微调、检索增强生成可以同时使用，以利用每种方法的优点

1. 传统的时间序列预测方法在面对外部随机事件引起的突发性变化或异常时存在局限性，本文提出一种利用大语言模型（LLMs）和生成式代理（Generative Agents），通过跨文本和时间序列数据的推理来增强时间序列预测的方法。
2. 该方法包括提出时间序列预测框架、应用LLM代理、构建数据集、实验验证等步骤，实验结果表明该方法在预测准确性上有显著提升。
3. 未来改进将重点扩展当前预测模型的范围，包括对新闻内容进行归因分析、为推理代理提供高级分析工具包等。

1. 大模型行业泡沫正在显现，以OpenAI为代表的大模型公司在商业化上遇到了瓶颈，如核心高管离职、苹果退出融资谈判等。
2. 目前AI领域投资人以及创业者主要分成应用场景派和底层技术派，应用场景派的投资标的是依靠对底座模型的调用实现垂直行业大模型商业化的公司，底层技术派更聚焦底座大模型。
3. 大模型在当前并没有到达互联网时代“分层解耦”的阶段，所以这两个流派的划分本身就值得商榷。
4. 数据运用已经成为大模型时代scaling law延续的基石，这点与AI之前的时代形成了鲜明分界。
5. 企业私有数据无法完全参与底座大模型的继续训练，是造成“数据不足”困境的重要原因。
6. 为打破英伟达显卡高额算力成本投入的僵局，很多下游行业玩家推出“垂直行业小模型”或者“端侧小模型”，但可惜在技术路线上很难真正有捷径可走。<>7. 大模型时代和互联网时代类似，也会经历三个发展阶段：B/C端用户直接使用大模型、出现各种垂直整合的大模型商业化应用、上层商业化应用和底层平台充分解耦，落地应用爆发，底座模型规模性变现。
8. 短期投资策略建议聚焦既非纯应用场景、也非纯底座模型的公司，而是“垂直整合应用”公司。
9. OpenAI要突破当前的“泡沫”焦虑，需要重点攻关的不仅是如何不断提高自己底座语言模型的能力，更是如何通过改进后的技术架构和商业生态，让其他拥有数据的第三方应用场景方尽可能参与到scaling law的进程中来。

1. 2024年，视频生成成为AI领域最热门的话题，各大厂商纷纷推出视频生成模型。
2. 国内大模型厂商对是否做视频模型存在分歧，分为迅速跟进、反对、探索后暂缓等不同派别。
3. 视频生成模型成本高昂，技术路线尚未收敛，市场前景广阔，是AI应用的新方向。
4. 视频生成领域在全球范围内仍处于早期阶段，算力成本高，付费是必选项。
5. 初创公司可以结合技术和运营手段，在视频生成领域闯出一条自己的道路。

是和br模型训练模式和更强大的对未见过预测。br>3 大包含数十亿个参数，模型大小可以数百GB甚至更大。大模型能够自动学习并发现新的、更高和模式能力”模型，大模型在表达能力和准确度上更强，但也需要更多资源和时间来训练和推理。
4. 超大模型是大模型的一个大大模型通常是具有大规模和计算能力的语言处理OpenAI的GPT-3模型。6 随着技术的不断进步，大模型的参数规模和性能将继续提升。未来大模型将更加注重与实际应用的结合，解决更多实际问题。

1. 国内首个眼科大模型“伏羲慧眼”，由王宁利团队联合30余家研究机构，百余名临床医生、计算机算法科学家等人员的医融合交叉团队研发。
2 “伏羲慧眼”大模型不仅具备筛查、诊断眼科疾病强大功能，能够全身疾病发展趋势能够通过一张眼部，从而预测人体的38血液生化。
3. “伏羲”的发布是人工智能技术在眼科医疗健康领域运用的开端，名“伏羲”也寓意着先进的科技力量，赋予人们如伏羲般敏锐的视觉与深刻的洞察力。
4.伏羲”的将会向三方面推进，一是为医院建立智能医学诊断平台提升诊疗效率和诊疗质量；二是为医生搭建医疗决策高级系统、拓展医生知识边界，减少患者误诊率；三是面向大众的疾病、问诊、科普的人工智能平台。
5. 下一步，还要让大模型更加完善，增加关联性的影像，包括事件关联性、时间顺序关联性、和文的，实现语言大模型和图像大模型对接。

1. 港大LightRAG开源两周获近5k标星，登上趋势榜
2. LightRAG解决RAG系统局限性，提出创新框架，采用双层检索系统，结合图结构与向量表示，提高响应速度和上下文相关性，适应动态数据变化
3. LightRAG基于图的文本索引范式有全面信息理解和增强检索性能的优势，通过增量更新知识库适应动态数据变化
4. LightRAG在双层检索范式中采用两种不同的检索策略，适应不同类型的查询
5. LightRAG通过将图结构与向量表示相结合，实现高效检索
6. LightRAG利用检索到的信息生成答案，通过上下文整合与答案生成确保与查询意图一致
7. 团队对LightRAG框架的复杂度进行分析，包括索引阶段和检索阶段
8. 为全面分析LightRAG，团队从UltraDomain Benchmark中选择四个数据集，生成125个问题
9. LightRAG在所有数据集上最新方法进行比较，结果表明图增强RAG系统在大规模语料库中有优势，LightRAG生成结果具有多样性，且相对于GraphRAG有优势
10. 团队进行消融实验，评估双层检索范式的影响以及LightRAG中基于图的文本索引的有效性
11. 团队从两个关键角度比较LightRAG与表现最优的对比方法GraphRAG的成本，包括检索阶段和增量数据更新阶段
12. 本研究通过引入基于图的索引方法，对检索增强生成（RAG）进行了改进，提升了信息检索的效率和理解能力

1. 港大黄超团队推出简单高效的大模型检索增强系统LightRAG，开源两周在GitHub上获得将近5k标星，并登上趋势榜。
2. 该模型不仅能够全面理解实体之间的复杂关系，从而处理更复杂的问题，还大幅降低了大模型检索增强系统的成本。
3. 团队提出LightRAG，它在文本索引和检索过程中引入了图结构。该创新框架采用双层检索系统，增强了从低层次和高层次知识的全面信息检索。
4. 此外，图结构与向量表示的结合有助于高效地检索相关实体及其复杂的关联关系，大幅提高了响应速度，同时保持上下文的相关性。
5. 为了高效适应不断变化的数据并确保响应的准确性和相关性，LightRAG 通过增量更新知识库，而无需重新处理整个外部数据库。
6. LightRAG 在双层检索范式中采用了两种不同的检索策略。该设计确保能够有效处理具体问题，同时应对抽象查询，从而为用户提供量身定制相关响应。
7. 通过将图结构与向量表示相结合，模型能够更深入地理解实体之间的相互关系。这种协同作用使检索算法能够有效地利用局部和全局关键词，简化搜索过程并提高结果的相关性。
8. 利用检索到的信息，LightRAG 通过大语言模型（M）生成答案。
9. 团队对提出的LightRAG框架的复杂度进行了具体分析，主要部分。
10. 为对Light进行全面分析，团队从UltraDomain Bench中选择了四个数据集。
11. 根据表中评估结果，团队得出以下结论：图增强RAG系统在大规模语料库中的优势、LightRAG生成结果多样性、LightRAG相对于GraphRAG的优势。
12. 团队还进行了消融研究，以评估双层检索范式的影响以及LightRAG中基于图的文本索引的有效性。
13. 团队从两个关键角度比较了LightRAG与表现最优的对比方法GraphRAG的成本。

1. 文章介绍了当前主流的AI大模型聊天对话工具的特点、优势、功能和适用人群，包括ChatGPT、ing Chat、Claude、Google Bard、Kimi Chat、星火大模型、阿里通义千问、智谱清言、天工AI和豆包等。
2. 文章详细介绍了每个工具的特点、功能、适用人群和使用方法。
3. 文章还介绍了作者阿文智的背景和经验。

1. 海康威视大模型技术领域的历程200组建算法团队，202拓展深度学习领域研究，8年发布AI开放平台及相关白皮书201年发展多模态，22年不断对模型进行优化。br>. 海康视大模型的架构设计：采用云边结合模式进行部署，边缘部署小模型分行使用大模型，部署采用海康云眸。
3. 海康视大的挑战与解决思路：数据依赖性、传统深度学习的局限性、算力成本。
. 海康威视模型未来展望：在金融行业的将进一步推广至更多的机构，同时计划将大模型应用拓展到其他行业。

1. 大模型行业泡沫正在显现，OpenAI面临发展瓶颈，包括多位核心高管离职和苹果退出参与其最新一轮融资谈判。
2. AI投资逻辑困局，AI领域投资人以及创业者主要分成应用场景派和底层技术派，但这两种流派的区分受到互联网时代思维惯性的影响，在大模型时代并不适用。
3. 技术和商业化路线困局，人工智能产业化的本质是数据和算力的充分应用和依赖，但数据运用也制造了极大的门槛和困局。
4. 潜在破局方案，借鉴互联网时代的思考，大模型时代和互联网时代类似，也会经历三个发展阶段，当前处于“阶段一”已经完成、“阶段二”刚刚开始的过渡时期。
5. 总结，目前大模型的应用层和底座层尚未解耦，投资策略可以暂时围绕上下层垂直整合的应用展开，同时需密切观察、等待真正的平台/操作系统的出现。

1. AI时代来临，谷歌搜索广告市场份额面临下滑，新兴竞争者崛起。
2. Adobe推出AI头脑风暴工具，激发无限灵感，让创意自由飞翔。
3. ChatGPT月访问量突破31亿，首次超越必应搜索引擎。
4. 哈佛研发出超智能AI，癌症诊断一键搞定，准确率高达96%。
5. 美国财政部借助人工智能成功追回40亿美元欺诈款项。
6. 工信部表示，我国生成式人工智能服务大模型的注册用户超过6亿。
7. 阿里国际翻译大模型达成大规模商用，效果和成本全面领先业界。
8. 清华开源全球最大双臂机器人扩散大模型RDT，懂调酒能遛狗，登顶HF具身热榜。
9. 玻色量子完成数亿元A轮融资，2035年行业规模或接近60000亿。
10. 小马智行拟纳斯达克IPO，估值超85亿美元引领自动驾驶商业化浪潮。

1. 最近有个字节跳动实习生因对算力分配不满发起恶意攻击被开除瓜，不保真，信息待官方证实
2. 该实习生被指控的五大罪状包括修改集群pytorch源码、随机kill多机进程、通过checkpoint打开后门自动发起攻击随机停止进程、参加集群故障排查日会根据同事排查思路持续定向修改攻击代码、修改同事模型权重造成实验复现
3. 个人整体感觉算法团队的软件工程意识和偏差，如代码变更应被管控和追踪、生产环境应严格用户权限管理和监控、应有变更管理等
4. 核心证据是一个录音，官方证实
. 云头条读者字节这次了管理问题
6. 吃完瓜可以了解一下大模型安全，可学习《模型报告224》

1. 雄安新区公示首批项目，数科公司的“类脑多模态大模型技术及其在发电企业应用的研究”项目入选，成为15个入选项目之一，也是唯一应用于电力企业数智技术研究。
2. 雄安新区此次征集科技项目旨在挖掘和推广具有前瞻性和创新性的科技，为雄安新区的科技创新和产业升级注入新动力。数科公司的“类多模态大模型技术及其在发电企业应用的”项目，凭借其在人工智能领域的创新性和实用性，成功脱颖而出，成为首批入选项目之一。
3. 类大模型技术一种基于人工智能的前沿技术能够理解和处理多种模态的信息，如文本、音频、图像等，具有强大的信息融合和处理能力。在发电企业中，该技术可以实现对海量数据的实时分析和，提升设备的运行效率和安全性，降低运维成本，同时推动发电企业的智能化转型和绿色发展。
4. 未来，数科公司将进一步加强与雄安新区的合作，共同推动类脑多模态大发电企业中的应用和推广，为雄安新区科技创新和产业升级贡献力量。

1. 10月18日，山东省信息技术产业发展—大模型产业应用在青岛市国际会展中心举办，来自全省院校、的100余位人员参加
2. 论坛聚焦大模型产品形态重塑、服务模式及生产优化等的推动作用，助力我省产业转型升级。
3. 论坛邀请了华中科技大学计算机教授何强、山东大学计算机科学与技术学院副教授张啸等专家进行了分享
4. 论坛邀请了海尔集团海尔智慧家数字化转型平台总监杜永、山东浪潮海若有限公司总经理尹萍等企业代表就大模型技术在智慧家庭、数字政府、经济、数字社会等的实践和成效作了精彩的报告。<> 5.论坛紧跟时代和政策步伐，进一步展现大模型作为新一代人工智能技术发展的重要方向，模型已成为推动数字经济发展的动力。

1. 2024年10月13日，工业和信息化部总工程师赵立国发表讲话称，我国人工智能核心产业规模不断提升，企业数量超过400家，生成式人工智能服务模型数量已超200个，注册用户数超6亿。
2. 中国人工智能技术发展迅速，国产AI大模型不断涌现，其中Kimi、言、通义千问、文心一言豆天工AI、讯飞星火、秘塔和腾讯元宝这九大模型格外引人注目。<> 3. AI大模型都建立在深度学习技术之上，主要利用神经网络架构，通过分析海量数据来学习语言模式、知识表示和任务执行策略。
4.imi在自然语言领域表现出色，擅长情感分析和文本分类任务；智谱清言以强大的语言生成能力著称；通义千专注于问答系统；文心一言是多功能AI模型；包特定领域；腾讯元宝在游戏领域独具特色；讯飞星火在语音识别和语音合成领域表现突出；秘塔在保护用户隐私方面表现出色；天工AI基于强化学习，自我学习和优化能力。
5. 这九大AI模型各有所长，未来它们会不断优化，弥补的不足，为用户提供更智能、更全面的服务，这些AI模型之间的协作将成为重要趋势。

1. 文章以技术视角分析从AI 1.0到AI 2.的演变，探讨了多模态大模型在安防领域的突破和应用。
. 依图的“天问”大模型展示了会思考可对话、能进化三大核心特性产业的高阶智能化率先实践、带来了深远影响，推动智能安防进入新的阶段。
3. 文章介绍了依图多模态大模型的技术优势与应用场景，包括全要素理解、多算法任务自编排、人机交互变革、用边训练、越用越聪明等
4. 文章强调了AI 2.的，多模态大的核心优势在于其广泛的泛化能力和实时进化的特性，使得AI技术能够适应多变的业务需求，从而推动智能化升级的全面。

1. 本文以技术视角分析了从AI 1.0到AI 2.0的演变，尤其探讨了多模态大模型在领域的突破和应用。依图的“天问”大模型展示了三大核心特性：会思考、可对话能进化，为产业的高阶率先实践、带来了深远影响，推动智能安防新的阶段。
2. 近年来，人工智能技术的迅猛发展标志着AI 2.0时代的到来，而其关键在于Transformer架构的引入。AI 1.阶段主要神经网络为代表（20-2016）而AI 2（2017年）基础科技的模态在安防领域潜力巨大，其“会思考可对话、进化”三大特性显著地推动了行业突破传统AI技术瓶颈。
4. AI 2.0时代的到来，不再仅仅依赖于模态大核心优势在于其广泛的化能力和实时进化的特性，使得AI技术能够主动适应多变的业务需求，从而推动产业智能化的全面落地。

1. 引言：在本号《大模型学习路径 | 1：开篇 - AI 领域的璀璨星辰》中，我们了解到大模型在人工智能领域有着举足轻重的地位。“模型” 在人工智能领域是指通过对数据进行学习和训练，从而能够对特定问题进行预测或处理的算法和参数的集合。“大模型” 则是一种特殊的模型，这里的 “大” 主要体现在参数规模上。大模型拥有海量的参数，其数量级远远超过传统模型。例如，传统模型可能只有几千或几万参数，而大模型的参数可以达到数十亿甚至上万亿。这些海量的参数使得大模型能够处理极其复杂的数据模式，从而在自然语言处理、图像识别等众多领域展现出强大的性能。
2. Transformer 架构：Transformer 架构是在 2017 年的 31st Conference on Neural Information Processing Systems (NIPS 2017) 上，由 Google 研究团队发表的论文 “Attention is All You Need” 中提出的。
3. 大模型的参数规模：在人工智能模型中，参数是指模型在训练过程中需要学习和调整的变量。这些变量决定了模型如何对输入数据进行处理和转换，进而生成输出。

1. 本文介绍了大模型的基础架构，包括Transformer架构的起源、组成部分和工作原理，以及大模型的参数规模，包括模型参数的定义、组成和作用，参数规模扩大的原因和趋势，以及大规模参数对性能和训练难度的影响。
2. Transformer架构是在2017年的31st Conference on Neural Information Processing SystemsNIPS 2017）上，由Google研究团队发表的论文“Attention is All You Need”中提出的。
3. Transformer架构的主要组成部分包括输入层、自注意力机制、多层感知机、残差连接和层归一化、输出层。
4. 大模型的参数规模呈现出指数级增长的趋势，从早期的几百万参数到现在的千亿甚至万亿参数级别。
5. 大规模参数对性能的影响包括正面影响和负面影响，对训练难度的影响包括计算资源需求和优化难度。

1. 讨论大模型评测时，常按“KTP原则”拆分并逐层分析包括Knowledge Capacity（知识容量）、Task Capability（任务能力）、Human Preference（人类偏好）三个层面，低到，从Low-level的世界知识容量到High-level的人类偏好，能够相对全面地展现M能力>2. 传统评测存在致命缺陷，往往是静态的、被抽象或者简化的，与真实用户的期望产生了越来越大的错位，因此我们迫切需要来自「真实场景的动态评测」，在目标场景下能够更好地完成任务的模型，就是更好的模型
3. 设计、构建能全面评估LLM能力的评测环境是一项庞大且复杂，需要人参与，我们正在致力于将这件朝着正确的道路前进，希望能够有越来越多的对大模型评测感兴趣的小伙伴参与其中
4. 与实际需求渐行渐远静态指标已不足以全面衡量一个模型的真正实力和潜力，要追求的更本质的一点是模型在实际应用中的表现，以及它如何和解决复杂的现实世界问题

1. 大模型技术驱动0生成式人工智能时代面向交管智能化应用提供模型能力、业务自动化能力、经验学习。
2. 依托Turing交通专家大模型提供自然语言与处理、视觉感知、指令学习、记忆学习、推理决策等基础能力，打造新一代智能交通专家。