Z科技|浙江大学最新综述,揭秘大语言模型中知识的利用机制
文章概要:
1. ChatGPT展示了强大的能力,但也存在可信度不高的浙江大学发布综述揭秘大语言模型中知识的利用机制。
2. 本文从知识利用和进化等角度回顾了知识机制分析,包括知识利用的三个层次、知识演化的两个阶段。
3. 知识利用可以分为记忆、理解应用和创造三个阶段,知识演化关注的是模型知识随时间变化的动态过程。
4. 大模型知识利用分为记忆、理解、应用和总结,知识记忆的目的是记忆和回忆知识,理解和应用侧重于展示对已记忆知识的理解,并在新场景下解决问题,知识创造强调的是形成有价值的新事物的能力和过程。
5. 知识进化是指LLM中的知识应随着外部环境的变化而发展,具体可以分为个体进化和群体进化两种。
6. 个体进化是LLM与动态环境进行交互,通过记忆、遗忘、纠错和加深对周围世界理解,并且走向成熟的过程,群体进化面临更加复杂的冲突,包括智能体之间专业知识的差异、利益竞争、文化差异和道德困境等。
7. 大模型在推理和创造力方面仍然面临诸多挑战,这可能是由于知识的脆弱性从而导致幻觉和知识冲突等各种问题。
阅读原文
2. 本文从知识利用和进化等角度回顾了知识机制分析,包括知识利用的三个层次、知识演化的两个阶段。
3. 知识利用可以分为记忆、理解应用和创造三个阶段,知识演化关注的是模型知识随时间变化的动态过程。
4. 大模型知识利用分为记忆、理解、应用和总结,知识记忆的目的是记忆和回忆知识,理解和应用侧重于展示对已记忆知识的理解,并在新场景下解决问题,知识创造强调的是形成有价值的新事物的能力和过程。
5. 知识进化是指LLM中的知识应随着外部环境的变化而发展,具体可以分为个体进化和群体进化两种。
6. 个体进化是LLM与动态环境进行交互,通过记忆、遗忘、纠错和加深对周围世界理解,并且走向成熟的过程,群体进化面临更加复杂的冲突,包括智能体之间专业知识的差异、利益竞争、文化差异和道德困境等。
7. 大模型在推理和创造力方面仍然面临诸多挑战,这可能是由于知识的脆弱性从而导致幻觉和知识冲突等各种问题。
Meta再推AI大模型
文章概要:
1. Meta宣布推出名为Movie Gen的新人工智能模型,可根据用户提示创建逼真的视频和音频片段。
2. Movie Gen结合了计算机视觉和自然语言处理技术,能够理解并转换用户的文字描述为动态影像。
3. 快手日前宣布旗下“文生视频”AI大模型可灵将迎来新一轮全面升级,“对口型”功能,正式开放API服务。
4. 多名业内人士认为,“文生视频”大模型商业化普及,数字内容创作门槛正在迅速降低。
5.多个大模型厂商均已推出了各自的“AI生成影视剧集”。
6. 行业分析师认为Movie Gen的上市为Meta开辟了新的收入来源,Meta如能有效利用这一趋势,能进一步巩固其在数字创新领域领导地位。
阅读原文
2. Movie Gen结合了计算机视觉和自然语言处理技术,能够理解并转换用户的文字描述为动态影像。
3. 快手日前宣布旗下“文生视频”AI大模型可灵将迎来新一轮全面升级,“对口型”功能,正式开放API服务。
4. 多名业内人士认为,“文生视频”大模型商业化普及,数字内容创作门槛正在迅速降低。
5.多个大模型厂商均已推出了各自的“AI生成影视剧集”。
6. 行业分析师认为Movie Gen的上市为Meta开辟了新的收入来源,Meta如能有效利用这一趋势,能进一步巩固其在数字创新领域领导地位。
Github 35k stars!从零构建大模型
文章概要:
1. 市面上缺少系统性的从零构建专属大模型的书籍,本书全面覆盖了AI工程师必备的重要主题,是大型语言模型(LLM)应用程序构建指南
2. 本书由Towards AI逾10位专家联合编写,并得到Activeloop、Llama、Mila等业界权威机构共同策划
3. 本书专为已经玩转Python中级的开发者设计,帮你打造能在生产环境里跑得溜的LLM应用
4 在这本470页的著作中将收获LLM提示、检索增强生成(RAG和微调的实用指南,构建生产就绪LLM应用程序的详细路线图,LLM的理论基础及从入门到高级的技术与框架,案例的代码项目,即刻运行的Colab笔记本,社区资源及专属AI导师指导
5. 本书内容包括大型语言模型简介、LLM架构与全景、LLM实践指南、提示技术入门、LangChain与LlamaIndex概览、使用LangChain进行提示、检索增强生成、高级RAG技术、代理应用、微调策略、部署方案
6. 专家评价本书从理论基础到代码实现和现代框架,全方位深化对LLM的理解,基于研究趋势和框架,培养你对未来发展的敏锐洞察力,是AI专业知识拓展宝典,是最全面LLM概述书籍
阅读原文
2. 本书由Towards AI逾10位专家联合编写,并得到Activeloop、Llama、Mila等业界权威机构共同策划
3. 本书专为已经玩转Python中级的开发者设计,帮你打造能在生产环境里跑得溜的LLM应用
4 在这本470页的著作中将收获LLM提示、检索增强生成(RAG和微调的实用指南,构建生产就绪LLM应用程序的详细路线图,LLM的理论基础及从入门到高级的技术与框架,案例的代码项目,即刻运行的Colab笔记本,社区资源及专属AI导师指导
5. 本书内容包括大型语言模型简介、LLM架构与全景、LLM实践指南、提示技术入门、LangChain与LlamaIndex概览、使用LangChain进行提示、检索增强生成、高级RAG技术、代理应用、微调策略、部署方案
6. 专家评价本书从理论基础到代码实现和现代框架,全方位深化对LLM的理解,基于研究趋势和框架,培养你对未来发展的敏锐洞察力,是AI专业知识拓展宝典,是最全面LLM概述书籍
中心观点 | 场景与心智:关于AI大模型在文旅领域应用的问题思考
文章概要:
1. 作者曾在2023年2月预测生成式人工智能对旅游业的影响,部分预测已得到印证,如今对AI大模型在文旅领域的应用落地有了更深入的思考。
2. 国外发展呈现出闭源大模型和开源大模型两个重要分支,国内通用大模型以互联网大厂开发的产品为主,通用大模型的重要发展方向是寻找应用场景。
3. 文旅领域大模型应用的主要场景包括AIGC文化内容创作、文化和旅游AI信息检索与服务、AI旅游数字营销、AI文化和旅游治理。
4. 文旅领域大模型的使用并不普遍的原因可能是通用大模型与文旅领域小模型的辩证关系问题,以及文化内容创作对AIGC工具的可能优先于旅游领域广泛应用。
5. 在文旅领域最重要的生成式AI应用是信息服务,包括信息主动查询、推荐、路线规划、资源预定等。
6. 文旅领域大模型发展存在的关键问题包括文旅领域大模型训练数据的问题、内容合规监管问题、行业认知与模式选择的问题。
7. 对未来一段时间文旅大模型的展望包括今明年文旅领域智能体代运营将形成一波产业机会、将初步形成通专结合的文旅大模型新场景、文旅大模型将逐渐从讲故事向务实化方向发展、文旅数据要素化助力大模型生态早日成熟。
阅读原文
2. 国外发展呈现出闭源大模型和开源大模型两个重要分支,国内通用大模型以互联网大厂开发的产品为主,通用大模型的重要发展方向是寻找应用场景。
3. 文旅领域大模型应用的主要场景包括AIGC文化内容创作、文化和旅游AI信息检索与服务、AI旅游数字营销、AI文化和旅游治理。
4. 文旅领域大模型的使用并不普遍的原因可能是通用大模型与文旅领域小模型的辩证关系问题,以及文化内容创作对AIGC工具的可能优先于旅游领域广泛应用。
5. 在文旅领域最重要的生成式AI应用是信息服务,包括信息主动查询、推荐、路线规划、资源预定等。
6. 文旅领域大模型发展存在的关键问题包括文旅领域大模型训练数据的问题、内容合规监管问题、行业认知与模式选择的问题。
7. 对未来一段时间文旅大模型的展望包括今明年文旅领域智能体代运营将形成一波产业机会、将初步形成通专结合的文旅大模型新场景、文旅大模型将逐渐从讲故事向务实化方向发展、文旅数据要素化助力大模型生态早日成熟。
AI大模型应用层行业分析(二)
文章概要:
1. 本文分析了AI大模型应用层的现状和趋势,包括市场规模、市场份额、行业集中度、商业化、厂商分类与头部厂商盘点、产品分类等方面。
2. 文章还分析了AI模型应用层的需求端,包括消费者规模、需求场景等方面。
3. 文章最后分析了AI大模型应用层的趋势和供给端,包括市场趋势、技术&产品趋势、投融资、政策等方面。
阅读原文
2. 文章还分析了AI模型应用层的需求端,包括消费者规模、需求场景等方面。
3. 文章最后分析了AI大模型应用层的趋势和供给端,包括市场趋势、技术&产品趋势、投融资、政策等方面。
Meta再推AI大模型
文章概要:
1. Meta推出名为Movie Gen的人工智能模型,根据用户提示创建逼真的视频音频片段。
2. Gen结合了计算机和自然语言处理技术,能够理解并转换用户的文字描述为动态影像。
3. 相较于聊天型模型,今年以来,“生视频”大模型成为各大厂商竞逐的赛道。5. 多名业内人士认为,“文生视频”大模型商业化普及,数字内容创作的门槛正在迅速降低<>. 就国内来看,目前多个大模型厂商均已推出了各自的“AI生成集”。
7. Meta如能有效利用这一趋势,势必能进一步巩固其在数字创新领域的领导地位。
阅读原文
2. Gen结合了计算机和自然语言处理技术,能够理解并转换用户的文字描述为动态影像。
3. 相较于聊天型模型,今年以来,“生视频”大模型成为各大厂商竞逐的赛道。
7. Meta如能有效利用这一趋势,势必能进一步巩固其在数字创新领域的领导地位。
国内ai大模型有哪些,收藏起来有大用。
文章概要:
1. 我国高度重视人工智能发展,上升为战略,一系列扶持政策和规划,为AI大模型产业创造良好环境br>2. 国内AI大模型蓬勃发展,众多国产大模型涌现,在多个领域展现强大应用,同时国内AI大模型也在不断提升自身技术和市场竞争力。
3. 国内AI大模型厂商具备从算力基础设施、深度学习框架到设计优化的全栈能力,在自然语言、内容生成自动化数据标注等领域取得显著进展。
4. 国内AI大模型产业面临算力分散不足、Transformer结构是否为最优的疑问、领域数据稀缺以及缺少现象级应用等问题,需要政策法规的以及社会的共同努力
阅读原文
3. 国内AI大模型厂商具备从算力基础设施、深度学习框架到设计优化的全栈能力,在自然语言、内容生成自动化数据标注等领域取得显著进展。
4. 国内AI大模型产业面临算力分散不足、Transformer结构是否为最优的疑问、领域数据稀缺以及缺少现象级应用等问题,需要政策法规的以及社会的共同努力
综述:自动驾驶视角下大语言模型的潜力与挑战
文章概要:
1. 清华大学和MIT的研究团队开展研究,探讨大型语言模型(LLMs)在自动驾驶(AD)领域的应用潜力
2. 论文详细分析了LLMs在自动驾驶的多个关键环节的作用,并讨论了它们如何应对自动驾驶技术目前面临的挑战
3. 该研究的特点在于其跨学科的视角,结合了自动化、车辆工程人工智能领域的前沿知识,对LLMs在自动驾驶中的应用了系统的分析
4 研究解读:本研究的思路是探索大型(LLMs在自动驾驶(AD)领域的,分析它们能否自动驾驶技术发展中的一些关键挑战
5.解读:本文探讨了大型语言模型(LLMs)在自动驾驶(AD)领域的应用潜力,包括引言、自动驾驶解决方案、大型语言模型的发展、Ms在自动驾驶应用、Ms是否是的万能药、限制和展望等内容
阅读原文
2. 论文详细分析了LLMs在自动驾驶的多个关键环节的作用,并讨论了它们如何应对自动驾驶技术目前面临的挑战
3. 该研究的特点在于其跨学科的视角,结合了自动化、车辆工程人工智能领域的前沿知识,对LLMs在自动驾驶中的应用了系统的分析
4 研究解读:本研究的思路是探索大型(LLMs在自动驾驶(AD)领域的,分析它们能否自动驾驶技术发展中的一些关键挑战
5.解读:本文探讨了大型语言模型(LLMs)在自动驾驶(AD)领域的应用潜力,包括引言、自动驾驶解决方案、大型语言模型的发展、Ms在自动驾驶应用、Ms是否是的万能药、限制和展望等内容
都说大模型崛起了,但AI赋能大模型的下一个“风口”到底在哪?
文章概要:
1. AI赋能已经成为热门话题,大模型的出现给领域带来变革和机遇。
. 大模型的崛起源于深度学习的,在自然语言处理、计算机视觉、语音识别表现出色。
3. 大模型在医疗健康、、智能交通、制造等领域有广泛应用。
4. 大模型的发展面临计算资源需求、数据隐私、可解释性等挑战。
5. 华清远见在AI教育领域有独家秘密武器——人工智能人才实战班。
6. 华清远见拥有独立,打造出元宇宙人工智能在线实验平台
. 华清远见还自主研发出华清远见AI大模型,分为通用大模型、辅助智能体、智能体、1对1辅导四大应用场景。
8. 华见提供优质的就业服务为学员的求职就业保驾护航。
9. 华清远见教育科技集团成立于004,是一家集产学研用于一体科技驱动型新一代信息技术领域教育服务品牌。
阅读原文
. 大模型的崛起源于深度学习的,在自然语言处理、计算机视觉、语音识别表现出色。
3. 大模型在医疗健康、、智能交通、制造等领域有广泛应用。
4. 大模型的发展面临计算资源需求、数据隐私、可解释性等挑战。
5. 华清远见在AI教育领域有独家秘密武器——人工智能人才实战班。
6. 华清远见拥有独立,打造出元宇宙人工智能在线实验平台
. 华清远见还自主研发出华清远见AI大模型,分为通用大模型、辅助智能体、智能体、1对1辅导四大应用场景。
8. 华见提供优质的就业服务为学员的求职就业保驾护航。
9. 华清远见教育科技集团成立于004,是一家集产学研用于一体科技驱动型新一代信息技术领域教育服务品牌。
多模态大模型: 盘点&Highlights part3——Gemini系列
文章概要:
1. 介绍多模态大模型系列文章的背景和目的。
2. 详细介绍Gemini系列,包括Gemini 1.0、Gemini 1.5和Mini-Gemini的模型架构和数据处理。
3. 强调数据处理在大模型时代的重要性,并介绍Mini-Gemini在数据处理方面的改进。
4. 总结Mini-Gemini的优点和创新之处。
阅读原文
2. 详细介绍Gemini系列,包括Gemini 1.0、Gemini 1.5和Mini-Gemini的模型架构和数据处理。
3. 强调数据处理在大模型时代的重要性,并介绍Mini-Gemini在数据处理方面的改进。
4. 总结Mini-Gemini的优点和创新之处。
OpenAI发布最强模型o1,大模型杀疯了!
文章概要:
1. OpenAI发布最强模型o1模型可以进行通用复杂推理,在解决博士水平的物理问题时表现优秀。
2. 文章提到了一个「大模型应用八日集训班」,由哥本哈根大学学者授课,内容包括大模型的理论和应用等。
3. 文末提供了福利,包括700篇大模型顶会论文和一个99个大模型微调工具
阅读原文
2. 文章提到了一个「大模型应用八日集训班」,由哥本哈根大学学者授课,内容包括大模型的理论和应用等。
3. 文末提供了福利,包括700篇大模型顶会论文和一个99个大模型微调工具
单卡千图推理!港中深等提出全新混合架构多模态大模型LongLLaVA
文章概要:
1. 港中深等提出全新混合架构多模态大模型LongLLaVA,该团队将模型架构调整为 Mamba和 Transformer 块的混合体,在数据构建中考虑多个图像之间的时间和空间依赖性,并采用渐进式训练策略。
2. LongLLaVA在VNBench的检索、计数和排序任务中领先,并在单张80GB GPU上对1000张图像进行大海捞针评估时达到了近100%的准确率。
3. LongLLaVA在涉及中等至长视频的任务中表现出色,超越了传统的视频模型,如Video-LLaMA2和VideoChat2。
4. LongLLaVA在跨语境检索、排序和技术能力等任务中的表现与领先的闭源模型相当,甚至在某些方面超过了GPT-4V。
5. LongLLaVA在管理和理解长上下文方面的先进能力。
6 随着可处理图像数量的增加,模型能够支持更多图像块以进行高分辨率图像理解,以及使用更多视频帧进行视频理解。
阅读原文
2. LongLLaVA在VNBench的检索、计数和排序任务中领先,并在单张80GB GPU上对1000张图像进行大海捞针评估时达到了近100%的准确率。
3. LongLLaVA在涉及中等至长视频的任务中表现出色,超越了传统的视频模型,如Video-LLaMA2和VideoChat2。
4. LongLLaVA在跨语境检索、排序和技术能力等任务中的表现与领先的闭源模型相当,甚至在某些方面超过了GPT-4V。
5. LongLLaVA在管理和理解长上下文方面的先进能力。
6 随着可处理图像数量的增加,模型能够支持更多图像块以进行高分辨率图像理解,以及使用更多视频帧进行视频理解。
中国的多模态AI大模型有多少种
文章概要:
1. 中国的多模态AI大模型在近年来得到了迅速发展,多家企业和研究机构都推出了自己的多模态大模型
2. 截至202备案式人工智能(GenAI)大模型数量为1,已发布的大模型数量达到188个。
3. 多模态AI大模型的发展在近年来得到了显著关注,例如商汤科技的多br> 4. 中国在多模态AI领域有相当数量的模型正在开发和应用中。
5. 截至2024年国产多模态AI大模型在多个行业和应用领域中得到了赋能与应用。
阅读原文
2. 截至202备案式人工智能(GenAI)大模型数量为1,已发布的大模型数量达到188个。
3. 多模态AI大模型的发展在近年来得到了显著关注,例如商汤科技的多br> 4. 中国在多模态AI领域有相当数量的模型正在开发和应用中。
5. 截至2024年国产多模态AI大模型在多个行业和应用领域中得到了赋能与应用。
6款不错的本地大模型运行工具推荐
文章概要:
1. 运行大型语言模型(LLM)通常涉及将数据发送到服务器,一些企业更愿意将数据完全离线,本文介绍了六大工具,确保数据永远不会离开设备。
2. LM Studio可以运行任何格式为gguf的模型文件,提供与ChatGPT类似的功能和特性,可免费供个人使用。
3. Jan是ChatGPT的开源版本,旨在离线运行,由用户社区构建,允许在设备上运行流行模型,而无需将其连接到互联网。
4. Llamafile由Mozilla支持,目标是通过快速CPU推理支持开源AI,并使每个人都能访问开源AI,将LLM转换为多平台可执行链接格式(ELF)。
5. GPT4ALL建立在隐私、安全和无需互联网的原则之上,用户可以在Mac、Windows和Ubuntu上安装它。
6. Ollama可以轻松创建本地聊天机器人,而无需连接到OpenAI等API,由于一切都在本地运行,因此无需支付任何订阅或API调用费用。
7. LLaMa.cpp是底层后端技术,为Ollama等本地LLM工具提供支持,支持大量大型语言模型推理,配置最少,在各种硬件上具有出色的本地性能。
8. 本地LLM的典型用例包括帮助开发人员了解模型性能和工作原理,查询私人文档和技术论文,在没有互联网的地方和网络接收较差的地方使用,以及在远程医疗环境中对患者文档进行排序。
阅读原文
2. LM Studio可以运行任何格式为gguf的模型文件,提供与ChatGPT类似的功能和特性,可免费供个人使用。
3. Jan是ChatGPT的开源版本,旨在离线运行,由用户社区构建,允许在设备上运行流行模型,而无需将其连接到互联网。
4. Llamafile由Mozilla支持,目标是通过快速CPU推理支持开源AI,并使每个人都能访问开源AI,将LLM转换为多平台可执行链接格式(ELF)。
5. GPT4ALL建立在隐私、安全和无需互联网的原则之上,用户可以在Mac、Windows和Ubuntu上安装它。
6. Ollama可以轻松创建本地聊天机器人,而无需连接到OpenAI等API,由于一切都在本地运行,因此无需支付任何订阅或API调用费用。
7. LLaMa.cpp是底层后端技术,为Ollama等本地LLM工具提供支持,支持大量大型语言模型推理,配置最少,在各种硬件上具有出色的本地性能。
8. 本地LLM的典型用例包括帮助开发人员了解模型性能和工作原理,查询私人文档和技术论文,在没有互联网的地方和网络接收较差的地方使用,以及在远程医疗环境中对患者文档进行排序。
沈向洋:关于大模型的10个思考
文章概要:
1. 算力是门槛:大模型对算力的要求非常高,过去10年算力增长巨大,未来要做GPT-5,需要更多的多模态数据和人工合成的数据。
2. 关于数据的数据:如果有GPT-5出来,可能会上到200T的数据量。但互联网上没有那么多好的数据,清洗完以后,可能20T就差不多到顶了。
3. 大模型的下一章:有很多多模态的科研工作要做,我相信一个非常重要的方向是多模态的理解和生成的统一。
4. 人工智能的范式转移:o1出来后,从原来的GPT的预训练思路,变成了今天的自主学习的道路,就是在推理这一步强化学习,不断地自我学习的过程。
5. 大模型横扫千行百业:在中国的大模型建设浪潮当中,越来越多的是行业模型。这个趋势肯定是这样的,未来通用大模型的占比会越来越低。
6. AI Agent,从愿景到落地:超级应用一开始就在那里,这个超级应用就是一个超级助理,就是一个超级Agent。
7. 开源vs闭源:我认为Meta的Llama并不是传统的开源,它只是开源了一个模型,并没有给你原代码和数据,所以我们在用开源系统的时候,也要下定决心真正理解大模型的系统闭源的工作。
8. 重视AI的治理:人工智能对千行百业、对整个社会的冲击非常大,要大家共同来面对。
9. 重新思考人机关系:真正把人机交互搞清楚,才能成为每一代高科技企业真正有商业价值的领导者。现在讲OpenAI加上微软就代表这个时代还太早,他们是领先了,但是未来还有很多想象的空间。
10. 智能的本质:虽然大模型已经给大家带来很多的震惊,但是我们对大模型、深度学习是没有理论的。关于人工智能的涌现,大家只是讲讲,并没有讲清楚。
阅读原文
2. 关于数据的数据:如果有GPT-5出来,可能会上到200T的数据量。但互联网上没有那么多好的数据,清洗完以后,可能20T就差不多到顶了。
3. 大模型的下一章:有很多多模态的科研工作要做,我相信一个非常重要的方向是多模态的理解和生成的统一。
4. 人工智能的范式转移:o1出来后,从原来的GPT的预训练思路,变成了今天的自主学习的道路,就是在推理这一步强化学习,不断地自我学习的过程。
5. 大模型横扫千行百业:在中国的大模型建设浪潮当中,越来越多的是行业模型。这个趋势肯定是这样的,未来通用大模型的占比会越来越低。
6. AI Agent,从愿景到落地:超级应用一开始就在那里,这个超级应用就是一个超级助理,就是一个超级Agent。
7. 开源vs闭源:我认为Meta的Llama并不是传统的开源,它只是开源了一个模型,并没有给你原代码和数据,所以我们在用开源系统的时候,也要下定决心真正理解大模型的系统闭源的工作。
8. 重视AI的治理:人工智能对千行百业、对整个社会的冲击非常大,要大家共同来面对。
9. 重新思考人机关系:真正把人机交互搞清楚,才能成为每一代高科技企业真正有商业价值的领导者。现在讲OpenAI加上微软就代表这个时代还太早,他们是领先了,但是未来还有很多想象的空间。
10. 智能的本质:虽然大模型已经给大家带来很多的震惊,但是我们对大模型、深度学习是没有理论的。关于人工智能的涌现,大家只是讲讲,并没有讲清楚。
打完“价格战”,大模型还要比什么?
文章概要:
1. 阿里在2024年云栖大会上再次宣布通义千问三款主力模型大幅降价,最高降幅达85%。自阿里在5月率先“开卷”之后,国内大模型厂商和行业风向标OpenAI也纷纷下调价格,行业降价幅度达到了90%左右。
2. 对于再次降价,阿里云CTO周靖人表示,每一次降价都是一个非常严肃的过程要从产业,开发者企业用户反馈等方面权衡,(降价)不是“价格战”,(大模型价格)还是太贵了。
3. 大模型降价带来的效果也是显著的。以阿里云为例,在大模型降价以后,阿里云百炼平台的付费客户数比上一个季度增长了超过200%,更多企业放弃私有化部署选择在百炼上调用各类AI大模型,目前百炼已服务超30万个客户。
4. 阿里也深知这一道理,其在近日宣布大模型再次降价后,也提出了“AI大基建”的概念。阿里云副总裁张启表示,现在的AI相当于1996年前后的互联网,当时的上网资费很贵,这也限制了移动互联网的发展,只有把资费降下来,才有可能谈未来的应用爆发。
5. 不过,对于大模型“价格战”一事,行业也有不同的看法。零一万物创始人李开复曾表示,没有必要打疯狂的价格战,因为大模型不光要看价格,还要看技术,如果是技术不行,然后靠赔钱来做生意,(公司)不会对标这样的定价。
阅读原文
2. 对于再次降价,阿里云CTO周靖人表示,每一次降价都是一个非常严肃的过程要从产业,开发者企业用户反馈等方面权衡,(降价)不是“价格战”,(大模型价格)还是太贵了。
3. 大模型降价带来的效果也是显著的。以阿里云为例,在大模型降价以后,阿里云百炼平台的付费客户数比上一个季度增长了超过200%,更多企业放弃私有化部署选择在百炼上调用各类AI大模型,目前百炼已服务超30万个客户。
4. 阿里也深知这一道理,其在近日宣布大模型再次降价后,也提出了“AI大基建”的概念。阿里云副总裁张启表示,现在的AI相当于1996年前后的互联网,当时的上网资费很贵,这也限制了移动互联网的发展,只有把资费降下来,才有可能谈未来的应用爆发。
5. 不过,对于大模型“价格战”一事,行业也有不同的看法。零一万物创始人李开复曾表示,没有必要打疯狂的价格战,因为大模型不光要看价格,还要看技术,如果是技术不行,然后靠赔钱来做生意,(公司)不会对标这样的定价。
AI大模型引发科技赋新,重塑核心竞争力的时代,如何布局适用于自身/企业的个性化“智能体”
文章概要:
1. AI大模型引发革命,升级核心竞争力定义
2. AI大模型的三场革命,推动产业重塑
3. AI大模型重塑产业的路径:智能体
4. 智能体的应用与产业重塑的切入口
阅读原文
2. AI大模型的三场革命,推动产业重塑
3. AI大模型重塑产业的路径:智能体
4. 智能体的应用与产业重塑的切入口
AI大模型:你不得不知道的两个致命缺陷
文章概要:
1. 大模型技术是人工智能领域的明星技术,但大参数的模型存在对数据质量依赖和模型的不可解释性两个致命缺陷。<>2. 对数据质量的依赖是指大模型的性能往往依赖于大量的数据,但这些数据的质量直接决定了模型的可靠性。
3. 模型的不可解释性是指大模型,尤其是GPT这类的深度学习模型,依赖于成千上万甚至数十亿的参数来做出决策,这使得我们很难理解它们是如何得出某个结论的。
4. 为了克服模型不可解释性的,可以使用解释性AI技术、模型简化、透明度报告等策略来提高模型的可解释性透明度。
阅读原文
3. 模型的不可解释性是指大模型,尤其是GPT这类的深度学习模型,依赖于成千上万甚至数十亿的参数来做出决策,这使得我们很难理解它们是如何得出某个结论的。
4. 为了克服模型不可解释性的,可以使用解释性AI技术、模型简化、透明度报告等策略来提高模型的可解释性透明度。
【重点】2024大模型落地路线图报告|附下载
文章概要:
1. 大模型技术能力不断创出新高,产业应用持续走深向实,显著加快人工智能通用化、实用化、普惠化发展进程
2. 本报告重点梳理了大模型应用落地遵循的诊断、、应用、管理四个重要阶段,归纳总结出能力分析、需求挖掘、方案设计、研发测试、应用开发、效能评估、运维、运营管理八个关键步骤
3. 大模型能力的突破得益于算力设施、数据资源、计算模式、网络架构等方面的源头创新
4. 大模型技术能力不断提升,在“听、看”等感知领域已接近或超越了人类水平,在理解、思考和创造等认知领域已取得显著进展
阅读原文
2. 本报告重点梳理了大模型应用落地遵循的诊断、、应用、管理四个重要阶段,归纳总结出能力分析、需求挖掘、方案设计、研发测试、应用开发、效能评估、运维、运营管理八个关键步骤
3. 大模型能力的突破得益于算力设施、数据资源、计算模式、网络架构等方面的源头创新
4. 大模型技术能力不断提升,在“听、看”等感知领域已接近或超越了人类水平,在理解、思考和创造等认知领域已取得显著进展
【学术报告】中国科学技术大学教授陈小平:大模型的科学解释和逻辑增强
文章概要:
1. 文章主要探讨了大模型的科学解释和逻辑增强,介绍了大模型的基本概念和原理,分析了其工作原理和特性,并讨论了其在垂直领域的应用和挑战。
2. 文章指出大模型缺乏逻辑和数学的基础能力,其工作原理是关联度预测,而关联度预测的数学性质决定了大模型缺乏逻辑和数学的基本能力。
3. 文章还介绍了垂直领域大模型的操作和高级功能,包括检索、分类、比较、反向搜索、易用性、知所知、知不知等。
4. 文章最后讨论了人工智能发展的全貌,包括生成式人工智能、规划式人工智能、分析式人工智能和智能化装备,并指出人工智能的研究和应用有非常大的发展空间。
阅读原文
2. 文章指出大模型缺乏逻辑和数学的基础能力,其工作原理是关联度预测,而关联度预测的数学性质决定了大模型缺乏逻辑和数学的基本能力。
3. 文章还介绍了垂直领域大模型的操作和高级功能,包括检索、分类、比较、反向搜索、易用性、知所知、知不知等。
4. 文章最后讨论了人工智能发展的全貌,包括生成式人工智能、规划式人工智能、分析式人工智能和智能化装备,并指出人工智能的研究和应用有非常大的发展空间。
大模型公司对标:360
文章概要:
1. 360公司发展历程:360成立于2005年,初期以提供免费的杀毒软件“360安全卫士”而迅速获得市场认可,并逐渐发展成为一家提供全面互联网安全解决方案的企业。2015年成立人工智能研究院,开展人工智能技术探索,成为国内布局研究开发人工智能较早的公司之一。2023年360进一步明确“AI+安全”的双轮驱动发展模式,发布自主研发的千亿参数级认知型通用大模型--“360智脑”,以及国内首个实现AI实战应用的安全行业大模型”360安全大模型“,并通过大模型融入产品、生态合作等手段拓展其模型能力。
2. AI大模型技术、产品与服务:360研发的360智脑文本生成算法、360智脑文本生成服务算法及360智脑图像生成算法,均通过国家互联网信息办公室第二批深度合成服务算法备案。其中360智脑文本生成算法应用于搜索引擎、浏览器、输入法下的智能对话及文本创作等场景。360智脑文本生成服务算法服务于文本合成类的产品企业端客户、个人开发者等,通过API提供根据文字输入信息生成文本信息的功能。360智脑图像生成算法具备通过文字、图像输入信息转化为图像信息的功能,应用于图像生成场景。
3. 商业模式:360依托其安全浏览器推出办公领域的增值AI服务,正价为每月30元,覆盖AI图片处理、AI图片创作、AI视频、PDF助手等逾百项高效工具,上线首月吸引近10万付费用户。同时,2024年7月10日,360启动AI豆积分兑换策略,该策略自零点起对新AI会员生效。AI会员可获得部分赠送的AI豆,亦可自主选择追加购买AI豆,依据AI功能使用次数扣除相应AI豆数量。通过会员订阅收入及AI豆售卖,360构建起软件产品增值服务收益体系。
4. AI大模型市场拓展:针对已付费购买安全大脑、终端安全等360安全产品的用户,360免费提供安全大模型能力,确保客户在享受产品升级的同时,无需承担额外成本,让更多用户能够了解并使用360的大模型能力。
5. AI大模型组织与运营:360于2015年9月成立人工智能研究院开展前沿技术探索,目前由360集团技术副总裁、360数智化集团CEO宇辉担任研究院院长。自成立以来研究院汇聚顶尖智慧,推动自然语言理解、机器视觉与运动、语音语义交互等领域技术能力积累,2023年着重攻坚大语言模型、CV大模型和多模态大模型。研究院技术实力跃居行业前沿,核心成员和团队多次荣获AI相关比赛冠军以及提名奖项,发表顶会、顶刊论文数十篇,2023年360人工智能研究院凭借“国产自研”知识表达模型登顶世界顶级人工智能挑战赛OGB高难度任务榜单OGB-wikikg2。目前其自主研发的视觉内容理解和行为识别、知识图谱构建与应用、图文多模态表示等技术已应用于智能搜索、数字安全、智慧生活等场景,服务数亿用户。
6. AI大模型资本运作:360近年持续投资AI相关企业,主要聚焦AI行业应用,今年7月首次投资大模型服务商硅基流动,专注于构建高效、标准化的生成式AI计算基础设施平台,已推出一站式大模型云服务平台SiliconCloud,高性能大模型推理引擎SiliconLLM与OneDiff,及AI应用开发平台SiliconBrain等AI Infra商业化方案,此次融资助力硅基流动加速产品迭代,深化AI云服务普及,促进AI应用生态的繁荣。
7. AI大模型生态体系:360集团携手智谱AI、华为云、商汤科技、创业黑马、出门问问等产业链上下游企业,共同发起成立“GPT产业发展联盟”。推动产业内合作伙伴算力、技术、应用等资源能力共享,加速AI技术研发和应用推广,目前联盟成员超千家,核心伙伴超200家,覆盖模型研发至行业应用全链条。同时,360在天津启动“GPT产业赋能计划”,设立360科创园,未GPT产业联盟成立后的首次城市级落地,旨在形成百亿级的GPT产业价值链。
阅读原文
2. AI大模型技术、产品与服务:360研发的360智脑文本生成算法、360智脑文本生成服务算法及360智脑图像生成算法,均通过国家互联网信息办公室第二批深度合成服务算法备案。其中360智脑文本生成算法应用于搜索引擎、浏览器、输入法下的智能对话及文本创作等场景。360智脑文本生成服务算法服务于文本合成类的产品企业端客户、个人开发者等,通过API提供根据文字输入信息生成文本信息的功能。360智脑图像生成算法具备通过文字、图像输入信息转化为图像信息的功能,应用于图像生成场景。
3. 商业模式:360依托其安全浏览器推出办公领域的增值AI服务,正价为每月30元,覆盖AI图片处理、AI图片创作、AI视频、PDF助手等逾百项高效工具,上线首月吸引近10万付费用户。同时,2024年7月10日,360启动AI豆积分兑换策略,该策略自零点起对新AI会员生效。AI会员可获得部分赠送的AI豆,亦可自主选择追加购买AI豆,依据AI功能使用次数扣除相应AI豆数量。通过会员订阅收入及AI豆售卖,360构建起软件产品增值服务收益体系。
4. AI大模型市场拓展:针对已付费购买安全大脑、终端安全等360安全产品的用户,360免费提供安全大模型能力,确保客户在享受产品升级的同时,无需承担额外成本,让更多用户能够了解并使用360的大模型能力。
5. AI大模型组织与运营:360于2015年9月成立人工智能研究院开展前沿技术探索,目前由360集团技术副总裁、360数智化集团CEO宇辉担任研究院院长。自成立以来研究院汇聚顶尖智慧,推动自然语言理解、机器视觉与运动、语音语义交互等领域技术能力积累,2023年着重攻坚大语言模型、CV大模型和多模态大模型。研究院技术实力跃居行业前沿,核心成员和团队多次荣获AI相关比赛冠军以及提名奖项,发表顶会、顶刊论文数十篇,2023年360人工智能研究院凭借“国产自研”知识表达模型登顶世界顶级人工智能挑战赛OGB高难度任务榜单OGB-wikikg2。目前其自主研发的视觉内容理解和行为识别、知识图谱构建与应用、图文多模态表示等技术已应用于智能搜索、数字安全、智慧生活等场景,服务数亿用户。
6. AI大模型资本运作:360近年持续投资AI相关企业,主要聚焦AI行业应用,今年7月首次投资大模型服务商硅基流动,专注于构建高效、标准化的生成式AI计算基础设施平台,已推出一站式大模型云服务平台SiliconCloud,高性能大模型推理引擎SiliconLLM与OneDiff,及AI应用开发平台SiliconBrain等AI Infra商业化方案,此次融资助力硅基流动加速产品迭代,深化AI云服务普及,促进AI应用生态的繁荣。
7. AI大模型生态体系:360集团携手智谱AI、华为云、商汤科技、创业黑马、出门问问等产业链上下游企业,共同发起成立“GPT产业发展联盟”。推动产业内合作伙伴算力、技术、应用等资源能力共享,加速AI技术研发和应用推广,目前联盟成员超千家,核心伙伴超200家,覆盖模型研发至行业应用全链条。同时,360在天津启动“GPT产业赋能计划”,设立360科创园,未GPT产业联盟成立后的首次城市级落地,旨在形成百亿级的GPT产业价值链。
沈向洋: 关于大模型的10个思考
文章概要:
1. 算力是门槛:大模型对算力的要求,过去10年非常巨大。今天要做人工智能大模型,讲卡伤感情、没卡没感情。
2. 关于数据的数据:如果有GPT-5出来,可能会上到200T的数据量。但互联网上没有那么多好的数据,清洗完以后,可能20T就差不多到顶了,所以未来要做GPT-5,除了现有的数据,还要更多的多模态数据,甚至人工合成的数据。
3. 大模型的下一章:有很多多模态的科研工作要做,我相信一个非常重要的方向是多模态的理解和生成的统一。
4. 人工智能的范式转移:o1出来后,从原来的GPT的预训练思路,变成了今天的自主学习的道路,就是在推理这一步强化学习,不断地自我学习的过程。整个过程非常像人类思考问题、分析问题,也需要非常多的算力才行。
5. 大模型横扫千行百业:在中国的大模型建设浪潮当中,越来越多的是行业大模型。这个趋势肯定是这样的,未来通用大模型的占比会越来越低。
6. AI Agent,从愿景到落地:超级应用一开始就在那里,这个超级应用就是一个超级助理,就是一个超级Agent。
7. 开源vs闭源:我认为Meta的Llama并不是传统的开源,它只是开源了一个模型,并没有给你原代码和数据,所以我们在用开源系统的时候,也要下定决心真正理解大模型的系统闭源的工作。
8. 重视AI的治理:人工智能对千行百业、对整个社会的冲击非常大,要大家共同来面对。
9. 重新思考人机关系:真正把人机交互搞清楚,才能成为每一代高科技企业真正有商业价值的领导者。现在讲OpenAI加上微软就代表这个时代还太早,他们是领先了,但是未来还有很多想象的空间。
10. 智能的本质:虽然大模型已经给大家带来很多的震惊,但是我们对大模型、深度学习是没有理论的。关于人工智能的涌现,大家只是讲讲,并没有讲清楚。
阅读原文
2. 关于数据的数据:如果有GPT-5出来,可能会上到200T的数据量。但互联网上没有那么多好的数据,清洗完以后,可能20T就差不多到顶了,所以未来要做GPT-5,除了现有的数据,还要更多的多模态数据,甚至人工合成的数据。
3. 大模型的下一章:有很多多模态的科研工作要做,我相信一个非常重要的方向是多模态的理解和生成的统一。
4. 人工智能的范式转移:o1出来后,从原来的GPT的预训练思路,变成了今天的自主学习的道路,就是在推理这一步强化学习,不断地自我学习的过程。整个过程非常像人类思考问题、分析问题,也需要非常多的算力才行。
5. 大模型横扫千行百业:在中国的大模型建设浪潮当中,越来越多的是行业大模型。这个趋势肯定是这样的,未来通用大模型的占比会越来越低。
6. AI Agent,从愿景到落地:超级应用一开始就在那里,这个超级应用就是一个超级助理,就是一个超级Agent。
7. 开源vs闭源:我认为Meta的Llama并不是传统的开源,它只是开源了一个模型,并没有给你原代码和数据,所以我们在用开源系统的时候,也要下定决心真正理解大模型的系统闭源的工作。
8. 重视AI的治理:人工智能对千行百业、对整个社会的冲击非常大,要大家共同来面对。
9. 重新思考人机关系:真正把人机交互搞清楚,才能成为每一代高科技企业真正有商业价值的领导者。现在讲OpenAI加上微软就代表这个时代还太早,他们是领先了,但是未来还有很多想象的空间。
10. 智能的本质:虽然大模型已经给大家带来很多的震惊,但是我们对大模型、深度学习是没有理论的。关于人工智能的涌现,大家只是讲讲,并没有讲清楚。
图灵测试视角下大模型聊天机器人与人类行为比较分析
文章概要:
1. 研究开展了一项图灵测试,对AI聊天机器人表现出的行为和人格特征进行评估,发现以ChatGPT为代表的AI大模型聊天机器人在行为和人格上表现出的特征在统计层面与来自50多个国家的数万名人类被试没有明显差异。在一些有别于人类行为特征的维度上,大模型聊天机器人倾向于表现出更加利他、合作的特质。
2. 研究实施互动式会话,促使AI聊天机器人参与经典的行为经济学游戏,并回答与人类被试者相同的调查问题。研究者将聊天机器人的行为方式与人类的行为方式进行比较,并估计哪种收益函数最能预测聊天机器人的行为。
3. 研究结果表明,ChatGPT尤其是GPT-4的行为更加集中和一致,这既让人感到乐观,也让人感到忧虑。一方面,AI的合理性和恒定性使之对各种决策情境具有高度的吸引力,也更加稳定和可预测。然而,这也引起了人们对个性和战略多样性的潜在损失的担忧,特别是在新的环境和需要做出重要的新决策时。
阅读原文
2. 研究实施互动式会话,促使AI聊天机器人参与经典的行为经济学游戏,并回答与人类被试者相同的调查问题。研究者将聊天机器人的行为方式与人类的行为方式进行比较,并估计哪种收益函数最能预测聊天机器人的行为。
3. 研究结果表明,ChatGPT尤其是GPT-4的行为更加集中和一致,这既让人感到乐观,也让人感到忧虑。一方面,AI的合理性和恒定性使之对各种决策情境具有高度的吸引力,也更加稳定和可预测。然而,这也引起了人们对个性和战略多样性的潜在损失的担忧,特别是在新的环境和需要做出重要的新决策时。
大模型/Sora/世界模型之间是什么关系,对自动驾驶的意义是什么?
文章概要:
1. 大模型是指具有庞大的参数规模和复杂程度的机器学习模型,通常指的是参数量非常大、数据量非常大的深度学习模型,具有强大的表示能力和泛化能力,可以在各种任务中表现出色,如语音识别、自然语言处理、计算机视觉等。
2. 世界模型是一个更高级别的概念,它涉及到具身智能和现实世界的感知、理解和交互,试图通过对周围环境进行建模,使人工智能系统能够像人类一样理解和预测环境,从而做出相应的行动。
3. Sora是美国人工智能研究公司OpenAI发布的人工智能文生视频大模型,于2024年2月15日正式对外发布,可以根据用户的文本提示创建最长60秒的逼真视频,该模型了解这些物体在物理世界中的存在方式,可以深度模拟真实物理世界,能生成具有多个角色、包含特定运动的复杂场景。
4. 基于World Model所提供的丰富语义信息以及对世界强大的理解力,自动驾驶模型的感知与预测能力有望得到显著提升,规划、控制等下游任务也有望迎刃而解。
阅读原文
2. 世界模型是一个更高级别的概念,它涉及到具身智能和现实世界的感知、理解和交互,试图通过对周围环境进行建模,使人工智能系统能够像人类一样理解和预测环境,从而做出相应的行动。
3. Sora是美国人工智能研究公司OpenAI发布的人工智能文生视频大模型,于2024年2月15日正式对外发布,可以根据用户的文本提示创建最长60秒的逼真视频,该模型了解这些物体在物理世界中的存在方式,可以深度模拟真实物理世界,能生成具有多个角色、包含特定运动的复杂场景。
4. 基于World Model所提供的丰富语义信息以及对世界强大的理解力,自动驾驶模型的感知与预测能力有望得到显著提升,规划、控制等下游任务也有望迎刃而解。
交通大模型专题汇总(2024-10-05更新)
文章概要:
1. 大模型是指基于大数据和人工智能技术,通过对海量数据进行深度学习和模型训练,从而得到的一种高度精简和抽象化的模型,具有极强的泛化能力和自适应能力
2. 交通大模型则是指将大模型技术应用于交通领域,通过分析和优化历史交通数据以及预测未来的交通流量,从而提高交通效率,减少交通拥堵,并助力城市的可持续发展
3. 在实际应用中,交通大模型可以为交通管理部门提供决策支持,例如在交通规划、智能交通信号控制、公共交通优化等方面
4. 同时,也可以为智能驾驶提供有价值的支持和参考,例如通过分析实时交通数据和预测交通流量,可以为自动驾驶车辆的路径规划和决策提供重要依据
阅读原文
2. 交通大模型则是指将大模型技术应用于交通领域,通过分析和优化历史交通数据以及预测未来的交通流量,从而提高交通效率,减少交通拥堵,并助力城市的可持续发展
3. 在实际应用中,交通大模型可以为交通管理部门提供决策支持,例如在交通规划、智能交通信号控制、公共交通优化等方面
4. 同时,也可以为智能驾驶提供有价值的支持和参考,例如通过分析实时交通数据和预测交通流量,可以为自动驾驶车辆的路径规划和决策提供重要依据
知识链=知识图谱+大模型+推理-幻觉
文章概要:
1. 文章主要讲述了微信公众平台的相关内容。
阅读原文
214个通过备案的大模型,让我们一起来看看都有哪些?
文章概要:
1. 文章介绍了工信部通过备案的214个大模型的相关信息。
2. 早在2023年8月31日,工信部就已经通过了8个大模型的备案,到2024年3月28日,已经完成117大模型备案。
3. 截止2024年8月,地方网信部门也批准了26个大模型,加上国家网信部门4月-7月批准的61个大模型,一共有了214个。
4. 文章列举了117个大模型的信息,包括模型名称、备案单位、备案号和备案时间等。
5. 文章指出,这些大模型经过备案,只要开源,就可以在课堂上使用。
阅读原文
2. 早在2023年8月31日,工信部就已经通过了8个大模型的备案,到2024年3月28日,已经完成117大模型备案。
3. 截止2024年8月,地方网信部门也批准了26个大模型,加上国家网信部门4月-7月批准的61个大模型,一共有了214个。
4. 文章列举了117个大模型的信息,包括模型名称、备案单位、备案号和备案时间等。
5. 文章指出,这些大模型经过备案,只要开源,就可以在课堂上使用。