今日AI-大模型-2024年10月13日

1. 中国移动发布了最新的九天善智多模态基座大模型，包括九天善智多模态大模型、九天众擎语言大模型、九天智绘视觉大模型、九天语荷语音大模型、九天数童结构化数据大模型等，可以提供不同参数量的模型版本，模型性能实现整体飞跃。
2. 九天善智多模态基座大模型在国际竞赛中表现突出，多项关键技术指标在国际主流榜单中取得优秀名次。
3. 九天善智多模态基座大模型在长文本、全双工、机器视觉和结构化数据等多模态赛道均取得了不俗的技术突破，能够支持处理复杂的任务资料收集并深度解析给出专业报告，支持全双工语音交互，实现自然流畅的交互体验，支持视频与图像处理的双重飞跃，成为视觉创作“魔术师”，支持结构化数据能力，实现业务精准分析预测。
4. 九天善智多模态基座大模型的超强实力，得益于中国移动独有的技术秘籍和实战经验，在国产化方面，实现从芯片、算法到框架的全栈国产化，在科研创新方面，原创性提出体系化人工智能（Holistic AI）技术，在复杂系统智能化方面，深入金融、交通、能源、制造等10+个行业，全自研30个横跨多领域的行业大模型。
5. 中国移动在人工智能这条道路上，要比我们想象的走得更远，它早已不是一家单纯的通信运营商，而是通过构建多模态基座大模型，打造全要素“AI+”服务运营体系，成为通用人工智能时代的供给者、汇聚者和运营者。

1. 2024年是大模型智能体元年，AI教母李飞飞出来创业，要摘取AI两颗“皇冠上的珍珠”中的一颗：空间智能。
2. AI模型产业至少有如下体感：大模型越来越烧钱、耗能、入不敷出，资本的热情已经冷下来
3. 安全行业纷纷推出了自己的安全大模型解决方案，每个框都是燃烧的经费。
4. 安全行业是一个“2B市场（企业市场）”，甲方客户的大模型采购极其理性，需求几乎为零。

1. 2024年是大模型智能体元年，AI教母李飞飞创业，要AI两颗“皇冠上的珍珠”中的一颗：空间
. 大模型产业体感：大模型越来越烧钱、耗能入不敷出，资本热情已冷，但GPU土豪战争仍在进行
3. 安全行业推出安全大模型解决方案，但这是一个“烧跑赢”的，安全行业需要这样“烧钱”吗？
4. 大模型的烧钱困境：C端大模型之争是“烧钱之争”，B端大模型之争更复杂，还不是“拿钱就能解决”的
5. 安全大模型的双重安全行业是“2B市场”，客户预算以年记，决策链长，没有“C轮死”的说法，大模型安全市场“冰火两重天”窘境
. 安全行业没有“万卡集群”就不要搞大模型，行业哪有这个资金实力，最多是“百集群”，，安全行业哪有什么真正的“安全大模型？
7. 安全大厂的AI研发成本，实打实投入进去的，这块就是“沉没成本”。没有客户需求、没有硬件能力、又有人工成本、又有竞争压力，那何必呢？不如大家都PPT方案，别真投入，反正只要PPT做得逻辑自洽，没人有能力质疑你，等真有了需求，去租也来得及。

1. 大模型梦碎的时间点似乎越来越近，过去一周，有关人工智能的消息糟糕多于积极。
2. 诺贝尔物理学奖和化学奖接连砸向时下正热的人工智能领域。这些奖项出人意料且鼓舞人心，意味着人工智能的确已经根本性地改变了我们生活和科学体系的方方面面。然而对于眼下基于大模型展开的众多人工智能生意，这些既有研究的帮助有限。
3. 特斯拉在本周花了大价钱布置和渲染了一片颇具未来感的人机风情社区——在这个社区里，机器人负责取悦人类，它们开车、跳舞、招待顾客甚至陪人聊天，而人类负责吃喝玩乐，酒足饭饱后搭乘特斯拉刚刚发布的Robotaxi（自动驾驶出租车）——Cybercab离开。
4. 自动驾驶还没有真的令人放心，大模型同样如此。坚持了2年后，Character AI彻底放弃了自研大模型。它不会是唯一的一家，虽然没有明确说明，但此前已投入硅谷大厂怀抱的Inflection AI、Adept、Covariant等曾经的独角兽放弃这一昂贵又继续突破无望的工作是迟早的事。本周，有消息传出称国内也有两家此前的独角兽可能放弃自研大模型。这一消息尚未获得证实。
5. 连一向引领行业的OpenAI也日益动荡。首席科学家Ilya Sutskever和首席技术官Mira Murati接连离开公司后，OpenAI联创Durk Kingma和Sora负责人之一Tim Brooks也于本周离职，分别加入对手公司Anthropic和DeepMind。10月1日举办的OpenAI开发者大会上，OpenAI没有任何新产品或新技术推出。Sora迄今没有上线，GPT-5也已很久没人提及。曾有传闻称苹果计划入股OpenAI，但在最新一轮融资中，苹果消失得无影无踪。

1. 社会科学研究重要增加，传统研究方法有局限性，因此推出GenSim平台。
2. GenSim平台特点：提供通用社会模拟编程框架，包括单智能体、多智能体和环境设置模块，实现了三种预设场景；支持超大规模智能体数量的模拟，分布式并行计算技术确保模拟的实时性与精准性；提供模拟过程中的纠错机制，LLM自动纠正结果和用户手动干预。
3. GenSim实验验证：基于劳动力就业市场模拟和网络用户行为模拟进行实验，证明大规模智能体模拟的必要性、分布式并行计算提高模拟速度、纠错机制提升模拟结果准确性。
4 GenSim使用方法：用户在平台上配置基本参数即可开始模拟，过程中可实时观察智能体行为、进行系统干预或与智能体互动，平台还提供搜索功能。

1. 目前评测大语言模型主要有两种方法：通过人类投票来进行评估，比如Chatbot Arena，但是这种往往需要花费较长的时间；为了降低人类标注的依赖，还有另外一种自动化的LLM基准测试，这种方法成本低、容易扩展。
2. 自动化基准测试也成为了众多模型的热门选择，而且测试中的高胜率往往能带来显著的宣传优势。但是，自动化基准测试的胜率可能会受到长度和风格偏见的影响。虽然大多数这种影响是来自训练数据集，但是这也导致存在操纵胜率的可能性。
3. 在本篇论文里，作者通过提交一个“假模型”来对自动化测试进行压力测试。
4. 作者提出了新的作弊策略：构建结构化的回答来迷惑LLM自动标注器从而达到作弊效果；进行基于token级别的随机搜索来设计对抗性前缀。
5. 结构化回应作弊做略以最低的对数概率胜出，证明作者的策略在欺骗自动标注智能体方面的高效性。
6. 随机搜索在提升开源自动标注智能体的作弊成功率方面极为有效，胜率直逼100%。
7. 直接针对测试指令进行搜索带来的显著优势，进一步优化了对抗性前缀，几乎达到了完美的表现。
8. 结构化作弊策略可以与传统的、有信息量的回应相结合，只需将我们的作弊回应附加到原始回应上即可。
9. 改写输入文本是对抗语言模型破解的有效防御手段。基于此理念，对抗结构化响应作弊策略之一是仅发布自动标注模板的改写版本，同时保留真实模板的私密性。
10. 使用GPT-4-1106-Preview作为自动标注智能体，以评估基于困惑度（PPL）的过滤器的有效性。
11. 即便是最基础的模型，也能通过利用评估流程中的结构性缺陷来获得高胜率。

1. 今年以来，中国大模型市场招投标市场非常活跃，央国企相关采购招标数量持续上涨，金额占比约40%，应用类项目数量占比高达70%左右。
2. 2023年招投标市场对大模型技术的需求显著，全年共发起190次采购，总交易额达到5.95亿元。进入2024年，招投标市场的大模型相关招标活动更加活跃，仅上半年就已发起498次招标，涉及金额超过13.4亿元，超越了去年全年总和。
3. 从地域分布来看，2024年上半年的大模型技术采购需求主要集中在经济发达地区，如北京、广东、上海、江苏和浙江。其中，贵州东数西算大模型建设工程项目以1.76736亿元的中标金额脱颖而出，成为金额最高的项目。
4. 从公开消息看，科大讯飞成为上半年大模型中标数最多的市场化玩家，而后7-8月份又分别中标项目112个和127个，且8月份单月中标金额突破1.5个亿，行业排名第一。
5. 大模型厂商的中标项目中有超过六成都来自央国企，也就是说，央国企的需求，支撑了大模型企业的商业落地。

1 大模型的大最好的诠释，大做做大模型的。
2.过去的203年大模型冒了出来很多大也地的大模型。
大模型能力生成方面，也就是常见的生成文字，图片，视频，但随着大模型技术的发展，已经有生成，等内容的模型出现还能力规划，在基于)，模型有了简单规划能力，并且通过方式br现在的大已经很，但事实上它离人类还有很长还具备自我学习，还依靠预的方式才能完成知识的>更是寄予这模型I人工智能)的方式大模型学习中的问题，并能不断。

1. 大模型助理：公众号助手经历了几版迭代，早期版本使用公众号默认的关键词触发，自定义主页、菜单，历史文章归纳清晰，人工参与度95；旧版助手使用OpenAI GPT-3.5，加关键词配置，响应速度慢，偶尔崩溃，还要人工更新词表，不太灵活，人工参与度25%；新版助手使用Coze配置智能助理，设置system prompt，补充关键词回复词表，让豆包自己作答，人工参与度15%。
2. 大模型专题导读：梳理了过去几年的技术文章，便于收藏，不用手工翻公众号历史，豆包助理历史文章检索功能待添加。
3. 学习之道：大脑排斥非结构化知识，将零散知识点结构化，形成知识图谱，再加上理解、思考，就过目不忘了。
4. 大模型专题可视化导读：公众号文章是技术博客的一个小子集，技术博客积累了十几年的知识点，还支持更新，知识面更加完整。
5. 交流分享：初学者不妨先看看去年的长篇幅文章，熟悉NLP里的预训练语言模型演变历史，才能更好的理解大模型。

1. 大语言模型（LLM）一种旨在理解生成人类语言的人工智能模型，指包含数百（或更多）参数的模型，它们在海量的文本数据上进行训练获得语言深层次的理解。
2. 涌现能力是大（LL以前的预训练模型（M最显著的之一，是一种令人惊讶的能力，在模型中不明显，但在模型特别突出
3 大语言巨大的规模、预训练和、感知、语言支持、多模态支持、和风险问题高资源需求等。
4 检索增强生成（RAG）是一种新的模型，地整合了从庞大知识库中到的，并以此，指导大型语言模型生成更为精准的，从而显著提升了回答准确性与。
5. RAG是一个完整的，其工作简单地处理检索和生成四个阶段。br> RAG与微调的区别在于，微调需要重新训练或者使用特定的数据集来训练模型，而RAG可以自动和综合，无需重新训练。

1. 2024年，不少曾立下“做中国OpenAI”军令状的模型公司，开始打脸，被称为“AI六小虎”的6家中国大模型独角兽中，已经有两家逐步放弃预训练模型，业务重心转向AI应用。
2. 随着第三方预训练模型的性能提高，应用层企业逐步放弃预训练模型，专注于让模型更懂用户的“后训练（post-train）”环节，是节省算力成本考量下的正常趋势。
3. 放弃预训练模型，意味着主动走下AGI竞速的牌桌，也戳破了AI技术的泡沫。
4. 对于AI赛道而言，放弃预训练，也不算全然消极的信号，在资金、算力紧缺的当下，现有的大模型厂商，也开始对自身的能力和资源现状，进行了重新评估。
5. 狂堆参数的Scaling Law目前是预训练的主流路径，同时也意味着高昂且持续的算力和数据投入。
6. 对于尚未盈利的创业公司而言，继续堆参数炼模型，筹钱首先就是一个难关。
7. 当下，与OpenAI的技术差距仍然难以弥合，国产模型之间的性能，也尚未拉开鲜明的差距。不少国内模型厂商开始借助“数据+场景”的长板，在AI应用上发力，试图率先跑出AI时代的“微信”和“抖音”。
8 并不是所有的大模型公司，都能从暂无尽头的烧钱中看到希望。
9. 放弃预模型的其中一家独角兽，据多名知情人士透露，自2024年中，整家公司的目标重心已经放在了海外的AI应用产品，以及上市。
10. 目前靠大模型本身，没有明晰的变现渠道，放弃预训练模型的其中一家独角兽，据多名知情人士透露，自2024年中，整家公司的目标重心已经放在了海外的AI应用产品，以及上市。
11. 模型变现能力不足，意味着当下模型厂商的现金流，几乎只能依靠融资，以及能够快速找到PMF（产品-市场匹配度）的AI应用。
12. 但如今，为模型厂商吸引到融资的，除了漂亮的用户数据，只剩下跃升的模型性能。
13. 放弃预训练的模型厂商，抓住的是尚有盈利潜力的AI应用。
14. 剩下仍在坚持预训练的厂商，则开始在技术上降本增效。

1. 文章主要介绍了端到端语音到语音方案LLaMa-Omni，包括整体框架和各个模块。
2. 整体框架包括训练阶段和推理阶段，训练阶段让LLM适应语音信息，学会生成语音；推理阶段文本自回归产生，产生第一个文本token后，进入上采样和speech decoder，产生语音单元，达到预设chunk大小后，进入vocoder进行流式波形合成。
3. 各个模块包括speech encoder、speech adapter、LLM、speech decoder、vocoder等。
4. speech encoder使用Whisper-large-V3作为speech encoder，整个训练过程中均冻结参数。
5. speech adapter映射从语音表征到llm的embedding空间，首先进行下采样以减少序列长度，然后经过两个带relu激活函数的线性层进行输出。
6. LLM使用的是LLaMa3.1-8B-Instruct，音频的表征序列会被替换到如下prompt模版中的 部分。
7. speech decoder使用预训练的HuBert模型抽取回复语音音频的连续表征，将表征转换为聚类索引。合并后成为最终的离散单元序列。
8. 声码器则是一个预训练好的Hifi-GAN。
9. LLaMa-Omni通过语音adapter的思路实现了端到端speech2speech dialogue，并通过非自回归的speech decoder实现了低耗时的流式音频输出，每输出一个文本token后能实时生成音频，实现了较低时延的语音交互。

1. 中国移动发布了最新的九天善智多模态基座大模型，全面解析了九天系列模型的亮点能力、特色技术
2. 中国移动九天系列大模型包括九天善智多模态大模型、九天众擎语言大模型、九天智绘视觉大模型、九天语荷语音大模型、九天数童结构化数据大模型等
3. 九天善智多模态基座模型在中表现突出，多项关键指标国际主流榜单中取得优秀名次
4. 九天善智多模态基座大模型的全面升级在长文本、全双工、机器视觉和结构化数据等多模态均取得了不俗的技术突破
5. 九天善智多模态基座大模型创新实现跨领域结构化数据通用表征建模、大模型多任务训练和推理框架，覆盖通信、交通、工业、金融营销、医疗等11+行业领域
6. 中国移动设立“九天揽月”合作计划，通过联合研发、成果引进、资本合作等多种方式引入业界优质能力

1. 中国移动发布九天善智多模态基座大模型，包括九天善智多模态大模型、九天众擎语言大模型、九天智绘视觉大模型、九天语荷语音大模型、九天数童结构化数据大模型等，模型性能实现整体飞跃
2. 九天善智多模态基座大模型在长文本理解与生成、全双工语音交互、视频与图像处理、结构化数据能力等多模态均取得了不俗的技术突破
3. 九天善智多模态基座大模型的超强实力，得益于中国移动独有的技术秘籍和实战经验，包括全栈国产化、体系化人工智能技术、复杂系统智能化等
4. 中国移动始终将人工智能作为公司战略转型的重要方向，通过构建多模态基座大模型，打造全要素 “AI+” 服务运营体系，成为通用人工智能时代的供给者、汇聚者和运营者

1. 大型语言模型（LLM）是一种旨在理解和生成语言的模型，与之对应的还有VLM，它是一种结合了视觉信息处理和语言理解的人工智能模型
2. 主流的LLM，有GPT-3、GPT-2、LM等。
3. 大语言模型（LLM显著的特征之一是它们的涌现能力上下文学习、遵循、推理等。
. 大语言模型具有巨大的规模、预训练和微调、上下文感知、多语言支持、多模态支持、伦理和风险问题、高计算资源需求等特点。br>5 检索增强生成（RAG）一种新的模型架构，它整合了从庞大知识库中到的相关指导大型语言模型更为精准的从而显著提升回答的准确性与。
6.AG是一个完整的系统，工作流程可以简单地分为数据处理、检索、增强和生成四个阶段。
7. RAG微调的区别在于输入与反馈外部知识引入、数据处理、可定制、可解释、计算资源消耗、推理速度、应用场景、信息更新频率。

1. 苹果公司的I Mirzadeh及其研究团队提出了一个名为GSM-Sic的新基准，针对多个开源模型闭源模型进行了大规模评估，结果显示当问题中的数值或名字变化时，模型的会表现出显著的。
2. 研究团队认为，这种表现下降并非偶然，因为当前的大语言模型真正的逻辑推理能力，更多是基于训练数据中的模式进行匹配，而非像人类进行符号和逻辑推导。
. 为进一步探索一问题，团队了GSM-Symbolic，用于测试大语言模型在数学推理中的极限。
4. 基于GSM-Symbol，他们从个方面说明了为何他们认为大语言不具备形式推理GSM8K的准确率不可、名称和数字变动的敏感性、问题难度增加导致表现急剧下降、添加无关子句对性能的巨大影响、规模和计算能力并不能解决根本问题。
5. 研究人员表示，总体而言，研究没有发现大语言模型具备正式的逻辑推理能力，无论是开源模型，还是闭源模型。

1. 文章主要介绍了端到端语音到语音方案LLaMa-Omni的整体框架和各个模块，包括speech encoder、speech adapter、LLM、speech decoder、vocoder等。
2. LLaMa-Omni通过语音adapter的思路实现了端到端speech2speech dialogue，并通过非自回归的speech decoder实现了低耗时的流式音频输出，每输出一个文本token后能实时生成音频，实现了较低时延的语音交互。

1. 本文介绍了大模型的起源、现状与未来，包括其在自然语言处理、图像处理、音频处理、生理信号等其他数据模态中的应用
2. 文章探讨了大模型的技术，如Transformer架构、有监督微调、人类反馈强化学习等
3. 文章分析了大模型的发展，包括算法创新、计算能力提升、数据集扩大等
4. 文章讨论了大模型的挑战，如模型大小与数据规模的权衡、网络架构的创新、提示工程、上下文推理、知识更新、可解释性、隐私安全性、数据偏见和误导性信息等
5. 文章展望了大模型的未来，包括模型规模与效率的平衡、知识的深度融合、具身智能的探索、可解释性与可信度等

1. 2024年至今，人工智能产业发生了阶段性转变，超过三成的大模型在通过备案后未进一步公开其进展情况，仅有约一成的大模型仍在加速训练模型，接近一半大则转向了AI应用的开发。
2. 大模型企业正出现分化，截至2024年8月底，网信办共通过188项生成式人工智能备案，有60个大模型在备案通过后，没有再公布过提升大模型参数量级或应用落地的进展，有9个大模型更新了版本，但未说明参数量级及预训练数据量变化。
3. 大模型市场与算力市场关联密切，一些大模型停留在了训练阶段，另一些转向了应用和实际交付阶段，但尚未被广泛使用，从需求方看，相关企业对训练算力的需求明显减少，对推理算力的需求也没有出现爆发式增长，而从供给方看，中国已建和正在建设的智算中心超250个，算力持续供给仍未停止。

1. 文章介绍了大模型在问答领域的探索和实践，包括背景、目标、迭代过程和工程优化等方面。
2. 文章以物流领域为例说明当前大模型的应用还处于初期阶段，需要在容错性较高的场景进行实践。
3. 文章详细介绍了向量搜索、RAG、SFT等技术的原理和流程，并通过实验对比了它们的优缺点。
4. 文章提出了多种技术结合使用的方案，并介绍了工程优化的方法，包括体验优化、自我迭代和数据沉淀等。
5. 文章最后强调了工程应用领域需要沉淀的能力和方向，包括对未来AI发展方向的思考和对模型定制的确定性的关注。

1. 大模型在人工智能领域取得显著成就，在自然语言处理、图像处理、音频处理等多领域得到快速应用，同时也带来了如偏见、隐私泄露等问题。
2. 大模型的由来可追溯到20世纪AI研究初期，随着机器学习、深度学习技术的出现和硬件能力的飞速提升，大规模数据集和复杂神经网络模型的训练成为可能，从而催生了大模型的时代。
3. 大模型的演变路径包括GPT系列模型的发展和多模态大模型的出现，从单一模态向多模态转变。
4. 大模型的特性包括参数量巨大、类型多样、能力强大，能够理解和处理高度复杂的数据模式。
5. 大模型的技术包括Transformer架构、有监督微调、人类反馈强化学习等，能够处理多种类型的数据。
6. 大模型的应用领域广泛，包括自然语言处理、图像理解生成、语音识别等，在多个领域中表现出卓越的性能。
7. 大模型的发展得益于算法创新、计算能力提升、大规模数据集等因素，在技术和应用层面都取得了重要突破。
8. 大模型面临的挑战包括模型大小与数据规模的权衡、网络架构的创新、提示工程、上下文推理、知识更新、可解释性、隐私安全性、数据偏见和误导性信息等。
9. 大模型的未来发展趋势包括模型规模与效率的平衡、知识的深度融合、具身智能的探索、可解释性与可信度的提高。

1. 本文主要探讨了军事大模型的发展现状和基础设施需求，包括大模型的概念、军事应用范围、主流军事大模型分析、算力基础设施的形态和需求分析以及军事大模型发展建议等方面。
2. 大模型是指具有数千万甚至百万亿个参数的深度学习或机器学习模型，其军事应用范围包括信息收集与情报分析、武器系统开发、军事训练与作战仿真、医疗诊断与治疗、认知渗透攻击与网络安全防御、任务规划与供应链管理等。
3. 主流军事大模型产品包括Palantir公司的人工智能平台、Scale AI公司的Donovan系统和渊亭科技公司的天机军事大模型。
4. 算力基础设施的形态和需求分析包括计算形态分析和算力需求分析，提高大模型性能最直接的方法是加大模型的参数规模，并投入更多的数据和计算资源。
5. 军事大模型发展建议包括开展军事人工智能大模型研究和加强算力基础设施建设。

1. 文章首先引入了规模效应和非线性行为的概念，以蚂蚁群体为例子讨论了规模效应带来的非线性结果。
2. 然后切换到大模型领域，引入了一个新的概念“智能涌现”，大模型大数据和大参数量成规模地产生非线性智能涌现的结果。
3. 最后，总结了文章的逻辑，并推荐了《规模》这本书。

1. 淘宝团队在大模型方面进行探索和实践，完成了业务所在垂直领域答疑机器人产品的上线。
2. 文章介绍了大模型的应用背景、传统答疑机器人的痛点、目标以及迭代过程，包括向量搜索、RAG、SFT、多种技术结合使用和工程优化等阶段。
3. 最后，文章强调了工程应用领域的开发思考的命题，即除了保持学习实践之外，还需要沉淀哪些能力和方向。

1. 华科与国产模型PDF-W，针对复杂多页PDF文档问答场景，提出了端到端稀疏采样机制和多页PDF问答高质量数据生成方法。
2. PDF-WuKong解决了现有多模态大模型处理长PDF文档的难题，其性能了多个知名的国际闭源商业产品。
4. 作者提出了-WuKong其核心动机在于，用户的查询通常只涉及文档中的少量文本块或图表。
5. 为了解决现有文档问答数据集的局限性，作者提出了一种可靠的长文档高质量问答对生成方法，并基于此方法构建了PaperPDF数据集。< 6. 作者进行了在长文档理解任务和面向单、多页文档VQA任务上测试了他们的方法，实验结果表明PDF-WuKong多个评估指标上均优于其他开源模型的商业PDF问答产品。
7. PDF-WuKong的性能和时间效率在不同长度的文档中保持相对稳定
8. PDF-Wu主要聚焦于单文档、单轮对话局部问题回答，对于全局性的问题，如总结整篇文档的核心思想或分析文档的整体结构，模型的能力还有待提升。

1. 苹果发文质疑大语言模型的逻辑推理能力，通过新基准GSM-Symbolic对多个模型进行评估，显示模型表现出显著波动，缺乏真正的逻辑推理能力。
2. 研究团队从5个方面说明了大语言具备形式推理能力，包括GSM8K当前准确率不可靠对名称和数字变动敏感、问题难度增加导致表现急剧下降、添加无关子句性能有巨大影响、扩展规模和计算能力不能解决根本问题。
研究人员认为大语言模型的表现更像是高级的模式匹配器，而非具备形式推理能力的系统，未来需要突破模式匹配，真正实现逻辑推理。

1. 苹果公司的Iman Mirzadeh及其研究团队提出了一个名为GSM-Symbolic的新基准，针对多个开源模型和闭源模型进行了大规模评估，结果显示，当问题中的数值或名字变化时，模型的表现出显著的波动
. 研究团队认为，这种表现下降并非偶然，而是因为当前的大语言缺乏真正的逻辑推理能力，更多是在基于训练数据中的模式进行匹配，而非像人类一样进行符号和逻辑推导
3. 为进一步探索这一问题，研究团队发了-Symbolic，用于测试大语言在数学推理中的极限
4. 研究团队5个方面说明了为何他们认为大语言不具备形式推理能力>5. 研究人员表示，而言，这项研究没有发现大语言模型具备正式的逻辑推理能力，无论是开源模型，还是闭源模型
6. 未来，大语言模型需要突破模式匹配，真正实现逻辑推理，才能变化的需求。这也是AI社区共同努力的方向

1. 大模型基本都是死路一条。
2. 人工智能领域要取得成功，是一个的过程，需要把智能感应、信息传输、存储、信息处理、智能终端五大部分逐渐建设起来，成为一个完整的。
3. 大模型最后是一定要来用的，而不是仅仅去吹牛或者是融资模型要用好，就得有应用，有产业来，有需求存在。<> 4. 今天的中国并不是缺少算力，也不是模型，现在早就是百模大战，大模型出好几百了。br> 5. 大模型就是要整合资源，一统天下才能把做得，降低自己的成本。
6 这些年美国有很多的概念，web3、NFT、club、区块链、元宇宙、大模型等，美国人是有一套机制，就是以金融的，新概念一出来，大家跟着吵，不管这个概念最后变成产品，能不能真正赚钱，股市上首先就获得了很大的回报。
7. 202年一定是血雨腥风一年，大模型已经弄了两年了，大家的钱也烧的差不多了，做出来没有什么用根本不能获得收入，众多的大模型企业，将面临着生死存亡。

1. 大模型，特别是拥有更多参数的深度学习模型往往是以人工神经网络为基础的。
2. 人工神经网络（ANN）是一种神经网络结构和功能的计算模型。
3 大模型人工神经网络关系：LLM的核心是ANN（人工神经网络，基于人工神经网络构建更大规模和复杂度更高的深度学习模型。br> 贝叶斯网络（Bayesian Network，简称BN）是一种基于概率推理的图形模型，用于表示变量之间的依赖关系。br> 5. 人工神经网络与贝叶斯网络的关系：两者都是有向图模型，其中每个节点的取值或状态仅依赖于其直接，即遵循可夫假设。

1. 百川智能由前搜狗公司CEO王小川于2023年4月创立，核心团队由来自搜狗、百度、华为、微软、字节、腾讯等知名科技公司的AI顶尖人才。
2. 公司成立不到100天，便发布了Baichuan-7B、Baichuan-13B两款开源可免费商用的中文大模型。
3. 百川智能坚持“超级模型+超级应用”的双轮驱动发展战略，至今已推出12款大模型，并于今年5月发布了首款AI助手“百小应”，同时在AI医疗技术与应用方面取得了显著进展。
4. 百川智能将搜索技术与大语言模型结合，实现了创新的模型优化。
5. 百川智能推出了“角色创建平台+搜索增强知识库”的定制化解决方案。
6. 百川智能推出企业定制化产品Baichuan2-Turbo系列API，支持搜索增强和企业知识库的融合。
7. 百川智能还开放Baichuan4、Baichuan3-Turbo、Baichuan3-Turbo-128k、Assistant API四款API，供开发者、企业用户接入。
8. 百川智能在技术上将搜索增强知识库和超长上下文窗口结合，提升了大模型获取外部知识的能力，高效解决大模型垂直领域知识体系的建设问题。
9. 百川智能专注于医疗健康领域并取得了显著进展。
10. 百川智能的创始人王小川、联合创始人茹立云、洪涛均为清华大学背景，公司核心团队则是前搜狗、Google、腾讯、百度、华为、微软、字节等行业头部科技公司AI顶尖人才。
11. 百川智能从2023年10月开始启动面向全球精英科技人才的专项校园招聘计划“星耀计划”。
12. 百川智能与北京大学和中国人民大学先后签署了联合实验室共建协议，借助高校一流的科研团队实力，为公司提供丰富的学术资源和人才储备。
13. 百川智能在成立之初就获得5000万美元融资，去年10月累计融资金额达3.5亿美元，正式跻身科技独角兽行列，创下国内大模型初创企业晋升独角兽速度之最。
14. 百川智能也通过战略投资布局人工智能领域发展。
15. 百川智能致力于推动开源社区的发展，发布了多款开源大模型，还开源了模型训练的全过程Checkpoint，这在国内开源生态中尚属首次。
16. 百川智能与中国计算机学会、北京英博数科科技有限公司联合创立大模型基金，为国内外高校及科研院所青年学者提供优质的产学研合作与学术交流平台；与北京大学、中国人民大学合作共建联合实验室，共同推进技术创新；与研究机构的合作，如2023年11月，百川智能与鹏城实验室共同发布128K长上下文窗口大模型“鹏城-百川·脑海33B”。
17. 百川智能以医工协同创新推动人工智能与儿童健康医疗的深度融合，计划与北京儿童医院共同推出“一大四小”五款AI医疗产品。
18. 百川智能与腾讯云达成战略协议，在大模型产品、企业安全、用户增长以及生态等领域展开深度合作；与北电数智围绕人工智能产业生态建设展开合作。
19. 百川智能还与信雅达、用友、软通动力、新致软件、达观数据等多家行业生态伙伴，以及华为、曙光等硬件厂商和中国电信、移动、联通等运营商达成了合作，构建百川大模型生态。

1 多智能体系统是人工智能领域热门流行词之一，也是研究焦点，但多智能系统完美，卡内基隆大学副教授Graham Neubig强调了单智能体也不可忽视
2. 基于LLM的体，包括大语言模型、提示以及动作空间，一般来说，当多智能系统时，至少要改变三个组成部分中的其中一个
3. 多智能体系统存在获得正确的结构、上下文信息的传递、可维护性等
4. 打造出色的单智能体，需要单LLM、单动作空间和单提示工程技术，单M和单动作空间相对容易，提示工程技术比较困难，可以将所有提示词连接起来使用，也可以使用检索增强式提示
5. 本文并不是说多智能体就没有用武了，多智能体系统大有作为，本文的目的是批判性地思考让系统更加复杂这一趋势有时候简单最好的

1. 文章对多模态和多模态大模型做了系统的梳理，介绍了视觉表征、视觉与自然语言的对齐或融合等技术的发展思路
2. 文章介绍了卷积神经网络（CNN）和Vision Transformer（VIT）两大脉络在视觉表征、预训练以及多模态对齐的发展过程
3. 文章介绍了早期多模态融合与预训练的两种表现形式：双塔结构和视觉表征和文本表征通过交互型网络结构融合成多模态表征
4. 文章介绍了以CNN为基础的早期多模态融合与预训练技术，包括视觉. 文章介绍了以VIT为基础的多模态对齐与预训练技术，包括VIT范式视觉表征和预训练、VIT为基础的多模态对齐与预训练
6. 文章介绍了多模态大模型的主流思路，包括Flamingo、BLIP-2和InstructBLIPGemini 1.0和Gemini 1.5、LWM等模型
7. 文章对未来多模态的发展方向进行了展望