今日AI-大模型-2024年12月29日

1. 研究团队利用预训练蛋白质语言模型进行密码子优化，提升了mRNA疫苗的设计效果。
2. 该研究首次将预训练蛋白质语言模型应用于密码子优化，提出Valid-Codon方法，开发适应不同宿主的优化策略。
3. 研究为mRNA疫苗设计提供计算工具，可提高疫苗表达效率、增强稳定性和改善免疫原性。
4. 该方法在计算指标上表现优异，但仍需进行更多实验验证、探索序列长度对效果的影响、研究不同预训练模型的性能差异。

1 204年12月26日，方旗下的求索宣布DeepSeek-V3模型并开源其采用自研MoE，有61参数 ，约57万美元，仅为行业同类产品的十分之一左右，且在多项基准测试中表现，众多开源模型，与顶尖闭源模型GPT-4o等性能接近。
2 有一些利空算力”小作文甚嚣尘上，其实是不然的。德邦分析师涵泊表示模型使用成本降低，利于吸引开发者和入局，加速AIGC应用开发与商业化。银河证券分析师吴砚靖认为大模型圈价格战白热化，推理成本下降推动AI应用加速落地。
3 幻方量化的DeepSeek-V3模型能实现低训练成本，主要有以下技术原因采用MoE架构、创新专家划分与机制 、利用已有成果和数据。
. 尽管其泛用相对较窄这种模式恰似在行业垂直应用领域的荒芜之地上开辟出一条低成本算力训练大模型，为那些专注于特定领域、追求高效解决方案的和企业点亮了一盏，成为大模型在细分领域深耕发展的先驱范例让我们了大模型除了广度拓展之外深度挖掘的巨大潜力与价值。
5. DeepSeekV3的核心指向是推理应用，意味着此前在推理应用领域，受限于资源而施展的局面被打破，行业来说，我们也能借鉴 DeepSeek 的成功经验，通过相似方法大幅提升推理效能，并迅速为应用。
6. DeepSeekV3 的发展对国产算力产业链有着显著的积极影响 ，尤其利好算力上下游基础设施。在上游，像光模块、铜缆等部件随着推理应用的拓展，数据传输需求大增，光模块的市场需求将被有力拉动。在芯片制造，满足模型推理需求，会刺激芯片制造商加快技术创新。下游的数据中心建设方面，AI应用的爆发促使运营商加大建设投入，带动服务器、存储、液冷等相关设备产业协同发展良好的产业。

1. 大模型训练困难重重，包括计算资源巨大，数据准备与处理难度大，超参数调整与模型设计调试复杂，人才短缺等方面
2 计算资源需求巨大，包括硬件设备要求高，能耗及散热问题，资源调度复杂
3. 数据准备与处理难度大，包括数据量要求，数据质量要求高，数据隐私与安全问题
4. 超参数调整与模型设计调试复杂，包括超参数调整困难，模型结构复杂，模型优化与迭代难度大
5. 人才短缺，包括专业技术要求高，实践经验要求丰富
6. 大模型训练的艰难之路，恰似唐僧西天取经，要历经九九八十一难。但正是这些困难，激发着科研人员不断突破也让我们对未来大模型能带来的更多惊喜充满期待。相信技术发展被一一攻克
7. 添加东哥，带你探索AI前沿技术！

1. 大模型领域发展迅速，都许多有趣论文值得品读。
2团队提出了一个优雅的：通过引入“长度差异位置编码”LDPE）的方式，让模型能够控制长度。
3. 开源模型通过创新的技术方案出了令人瞩目的潜力。
4. 随着开源社区的持续创新和技术，开源模型在性能上正在快速追赶闭源模型，同时保持着更高的透明度和可及性。

1. 2024年国内大模型市场进入新阶段，百度集团副总裁吴甜做客《对话》节目分享人工智能技术发展及应用的最新进展
2. 吴甜认为模型的幻觉与创造力一体两面，抑制模型产生幻觉有优化基础模型和引入检索增强、智能体等技术或机制方面。
3. 大模型场景发展迅速，百度文心大模型调用量半年增长7.5，一年增长30倍，飞桨文心开发者数量已达1808万。
4. 吴甜表示大模型应用仍需进一步开发与完善，落地距离取决于行业自身数字化根基及业务面向数字化的抽象程度。
5. 吴甜剖析了人工智能赋能行百业面临的两大主要难题，一是挖掘真实需求，二是缺乏专业数据。
6. 算力问题也是人工智能中不可忽视的一环，吴甜表示要集约化建设并优化调度，提高使用率，算力应多元化。
7. 国内大模型市场从“百大战”到“大浪淘沙”，各行各业都在进行大模型落地的实践了庞大的应用

1. SemiKong作为世界上第一个专为半导体行业设计的开源芯片设计LLM）模型，由automatic及其“人工智能联盟”训练，旨在提升新芯片市场的速度，据称可提高30%。
2. SemiKong的，意在解决半导体行业面临的专业人才缺口问题。
3. SemiKong基于Meta的Llama 3.1LM平台开发，最近发布了其70B改型。
4. SemiKong宣称，新芯片设计的上市时间缩短了20-30%，首次制造得分提高了20%并将新工程师的学习曲线加快了50br> 5. SemiKong 70B型号的部署者可以从其网站下载模型。

1. 本文是作者24年算法思考系列文章的第一篇，主要讨论了大模型在2024年的训练和应用经验。
2. 作者在大模型方面的工作主要包括prompt工程搭建与调优、小任务方面的简单微调、多轮对话方面的浅尝。
3. 在prompt工程方面，作者从使用时机、构造baseline、调优手段和思路、上限的确定四个方面进行了总结。
4. 基座模型能力变迁方面，作者发现大模型的格式输出能力提升明显，软能力也有所提升。
5. 在训练方面，作者尝试了不同大小的模型、微调、全量微调、轻量化微调等方法，并指出了各自的优缺点。
6 最后，作者对大模型的发展进行了思考，认为大模型的调教已经成熟，但在商业上，产品的方向仍在探索。

1. 本文介绍了《产业白皮书发布单位和主要内容大模型从技术驱动转变的过程、产业大模型应用的特征和技术关键环节、产业大应用需要评价观点、在大模型应用方面的包括案例征集和分析、大模型在产业中的展望，面临的技术和非技术挑战
2. 文章提到启帆信息科技联合智猩猩策划的「智猩猩在线研讨会 NVIDIA RTX™ 580 Ada 应用解决方案专场」已正式完结
3. 如对《产业大模型应用白皮书》一白皮书，以及紫光晓通 高级技术支持工程师尚志远的PPT有需求在文末扫码领取

1 大模型训练通常会分为训练和微调两个，可以全量预训练二次预训练。
2. 预训练是语言模型学习的初始阶段，通过处理大量未标注的文本数据来进行。这些数据包括、文章和网站等。
3. 全量预训练是指从零开始对模型进行训练，一个预训练模型。这种模型的特点是通用性强，类似于一个婴儿大量培养达到高中水平的学生。br> 4. 二次预训练则是在已有的全量预训练模型的上，结合具体场景数据进行再次训练目的让模型学习特定领域或场景，使其更具专业化和针对性。
5. 预训练的目的，是让模型学习到文本语料库中的底层模式、结构和语义知识。这其实和我们时期学习语文或英语相似。
6. 大模型的预训练阶段对其性能和应用意义重要以通义千问aMA 2等开源模型为例，这些模型通过在大规模通用数据集进行预训练学习到丰富的语言模式、语义和知识库。

1. 支持AI大的手机份额已达到18.3，苹果还在中国为国行版iPhone寻找模型合作对象。
苹果倾向于认为，百度最大的中文互联网语和领先布局的AI大，但在技术细节和用户数据使用方面未一致，或有些高估百度的能力。
3. 苹果智能落地远比想象中复杂，会有一家模型至少参与到一二层的，还可能有参与到第三层的合作当中。
4. 从接触的7（还有第8家是竞争对手）来看，钱/潜力是唯一判定标准，不妨以“苹果标准”定义“五虎三杰。
5. 从模型、算力、数据三个，结合苹果基础诉求进行对比分析（不含华为），腾讯和阿里更加合适，百度也说得过去如果在 intelligence第三层接入多家，“五虎三杰”中除华为都是备选。

1. 2024年国内大模型落地大比拼：百度第一
2 2024增3.6倍，百度中标数量和金额双第一
3. 大模型时代，AI基础设施的范式
40是大模型持续落地的一年，行业内普遍认为明年将迎来Agent的爆发

1. 2024年，以大模型为代表的人工智能技术已成为引领新一代产业变革的核心动力，政府工作报告首次提出“人工智能+”，要求大力推进现代化产业体系建设，加快发展新质生产力，深化大数据、人工智能等研发应用。
2. 读特客户端联合深圳大学传播学院选出了2024年中国十大AI大模型，包括豆包、文心、Kimi、智谱清言、讯飞星火、通义、混元、天工、百川、即梦AI。
3. 这些AI大模型在技术迭代速度和商业化、行业融合方面都取得了显著进展，未来人类与AI还将创造出更多成绩。

1. 圣诞节刚过，人工智能初创公司DeepSeek发布了全新大模型DeepSeek-V3，同步开源并公开训练细节
2.ChatGPT发布两年，国内外大模型竞争激烈的背景下，DeepSeek-V3因其低成本和高性能备受关注
3. 今年五月，DeepSeek-V2发布，价格但性能不逊色，引发大模型战
4. DeepSeek-V3的训练低至557万美元，远低于其他大模型，证明大厂并非通吃一切
5. DeepSeek是幻方量化的子公司，其囤显卡用于量化交易，与Meta囤显卡赶上AI浪潮类似
6. 幻方量化底层技术过硬，但在量化交易市场仍面临挑战

1. 月之暗面推出的Kimi因宕机登上热搜，其20万字版本可实现摘要总结，200万超长文本输入对小说和阅读App领域有颠覆。
2. 番茄小说平台要求签约作者签署补充协议，将作品内容及相关信息用于平台AI训练，引发网文作家圈担忧。
3. 360创始人周鸿祎在AI新品发布会上进行产品“局部重绘”功能演示时，被质疑，引发争议。
4. 快手发布文生视频大模型“可灵”，直接开放测试，引发热烈讨论，在海外市场迅速走红。

1. 202年国内大增3.6倍，百度中标数量和金额双第一
2. 大模型时代，AI基础设施的正确范式
3. 2024年是大模型持续落地的一年，内普遍认为明年将迎来Agent的爆发

1. 清华智能产业研究院携手清华系团队开源多模态生物医药大模型
2. 清华智能产业 研究院、水木分子公开首个单细胞身份识别大模型LangCell
3. 清华长庚医院建立我国首个脑血管病大模型——灵犀大模型
4. 清华自动化、电子团队合作发表人工智能细胞大模型scFoundation
5. 清华大学何永红团队联合空军军医大学等发布国内首个病理大模型PathOrchestra
6. 清华长庚医院、智能产业研究院和工业工程系联合提出通用医学人工智能和通用健康人工智能概念
7. 谷歌发布全球首个全科医疗大模型Med-PaLM M，清华校友为第一作者
8. 清华团队提出“智能体医院”：智能体实现自我进化
9. 清华、智谱AI团队推出无限超分辨率模型 Inf-DiT
1. 清华、智谱AI团队推出代码评测基准 NaturalCodeBench
11. AI对抗疫情：清华大学程功团队开发SARS-CoV-2进化预测模型

1. 国资委多次对中央企业发展人工智能提出要求，央国企成为推动国内大部分AI大模型落地项目的先行力量。
2. 国资央企在大模型的相关投入上基于其自身能力承担不同的研发任务，包括通用大模型、行业大模型和细分领域专用大模型等。
3. 本文整理了央国企已落地的66个AI大模型布局，包括中核集团、中国核电、中国航天科工、中国船舶、中国电科、中国石油、中国石化、中国海油、国家电网、南方电网、中国三峡、国家能源、中国电信、中国联通、中国移动、中国电子、中国一汽、中远海运、中国中化、中国建科、国家开发投资集团、招商局集团、华润集团、中国商飞、中煤集团、中国煤科、铁科院、中国中铁一局、中国航信、中国广核集团、中国绿发、北大荒、上汽集团、河南省医学科学院、山东能源、西安光机所等。

1. 推动人工智能大模型发展的因素有输入数据的质量和规模、对于“思考”的理解和领悟、硬件基础设施。
2. 以人类创造的内容训练人工智能，其理论上限也只不过是接近人类罢了，是不可能超越人类的。
3. 讲英语的人，大脑内部进行思考的时候，也是对“单词序列”进行转换。而认识汉字的人，的思维是网状的。
4. 为了达到同样的效果，软硬件的能力是相反的，你的模型设计能力越低，你就越需要更高、更大、更强的GPU。
5. 开发DeepSeek-V3的公司，人家不是搞人工智能的，人家是炒股的，人工智能只不过是他们一个团队顺手做的工作。

1. 中国科学院海洋研究所自主研发的全球分辨率大模型“琅琊0版本在青岛正式发布。
2. “琅琊”海洋大模型是面向海洋状态变量预报研发的新一代人工智能大模型，1.0版本实现对全球海洋状态变量的中短期高精度预报，可一次性预报未来1至7天的温度、盐度、海流等全球海洋状态变量，空间分辨率1/12°，时间分辨率为24小时。
3. “琅琊”取词《辞海》，意指质地细腻、晶莹剔透玉石般的珍贵宝物，象征着海洋大模型的珍贵与卓越。
4. 2024海洋人工智能大模型琅琊论坛在中国科学院海洋研究所古镇口园区召开，00余名专家学者参会，围绕“人工智能大助力海洋科学研究这一开展深入交流研讨。
5. 琅琊系列大模型将在实际应用中不断迭代，2.将引入对台风、降水、海浪、海冰的预报，进一步提升对海洋灾害等复杂海洋现象预报能力。

1. 近几个月来，Aitomatic 及其“AI 联盟”合作伙伴推出了世界上第一个专门为满足半导体行业需求而设计的大型语言 SemiKong LLM。
2. SemiKong 基于 Meta 的 Llama 3.1 LLM 平台，Aitomatic 与新 AI 联盟的其他合作伙伴合作开发了 LLM，其中 Aitomatic 的 DXA 系统成为 SemiKong 部署的支柱。
3. 在其目前的 70B 版本中，以及基于 SemiKong 的小型 DXA agents下，LLM 的实用性远远超过了半导体领域的通用 AI 模型。SemiKong 宣称新芯片设计的上市时间缩短了 2-30% ，首次成功制造得分提高了 20%。它还声称可以将新工程师的学习曲线加快多达 50%。
4. Meta、AITOMATIC 和 AI 联盟基础模型工作组下的其他合作者的研究人员推出了 SemiKong。SemiKong 是世界上第一个专注于半导体的大型语言模型 (LLM)，使用 Llama 3.1 平台设计。该模型经过大量半导体专用数据集的微调，包括行业文档、研究论文和匿名操作数据。
5. 半导体行业推动了消费电子、汽车系统和尖端计算技术的进步。半导体的生产涉及复杂的工艺，需要无与伦比的精度和专业知识。这些过程包括芯片设计、制造、测试和优化，每个阶段都需要深厚领域知识。该领域传统上依赖于经验丰富的工程师，他们拥有数十年的经验。
6. 然而，该行业面临着一个重大：资深专家的快速退休，造成了知识差距，威胁到创新和效率。这种日益增长的担忧促使公司探索人工智能作为获取、扩展和利用专家知识的可行解决方案。此外，必须尽量减少与芯片设计和制造相关的成本和时间，以满足市场需求这些挑战凸显了传统方法的局限性，并强调了量身定制的人工智能解决方案的必要性。
7. 应对这些挑战的现有方法包括通用 AI 模型和基本自动化工具。虽然这些方法在分析数据和改善决策方面很有帮助，但它们往往无法解决半导体行业独特的复杂性。例如，通用 AI 工具缺乏有效分析复杂制造过程所需的领域特定理解。因此，公司无法完全弥合理论 AI 能力与实际行业需求之间的差距，从而为专门的解决方案改变该领域留下了空间。
8. 于是，Meta、AITOMATIC 和 AI 联盟基础模型工作组下的其他合作者的研究人员推出了 SemiKong。SemiKong 是世界上第一个专注于半导体的大型语言模型 (M)，使用 Llama 3.1 平台设计。该模型经过大量半导体专用数据集的微调，包括行业文档、研究论文和匿名操作数据。
9. SemiKong 背后的技术建立在先进的 AI 和神经符号架构之上。AITOMATIC的 DXA 通过结构化的三阶段生命周期运行：获取领域专业知识、使用合成和结构化数据训练模型、将生成的系统应用于现实场景。
10. SemiKong 在生成特定于半导体的内容和理解复杂过程方面的表现优于多种闭源语言模型。这带来了切实的好处，包括新芯片设计的上市时间缩短了 230%，制造一次成功率提高了 15-25%。这些工具还改善了新工程师的入职流程，将他们的学习曲线加快了 40-50%。在一个例子中，支持 SemiKong 的 DXA 缩短了蚀刻配方制定所需的时间，而这通常需要数小时到数分钟。

1. 文章介绍了《大语言模型中文书籍，该书由中国人民大学师生联手打造，由赵鑫教授和文继荣教授领衔，博士生李军毅、周昆和硕士生唐天一参与编著
2. 本书内容深入结合了编者在研发大模型中的第一手，全面覆盖了大模型技术的多方面知识，可以作为深入学习大模型技术的参考书籍
3. 书籍特色包括全面解读大语言模型、丰富的配套代码与工具通俗易懂专业
4. 本书通过多样化的展示形式，力求向读者深入浅出地讲解大模型技术
5. 文章还展示了目录，包括背景与、预训练、微调与对齐、使用与评测等部分

1 Meta发布Byte Latent Transformer（BLT，它通过引入一种新方法来解决传统标记化方法的固有偏见，不使用预定义的标记，而是从原始字节中学习，并根据一个预测字节的复杂度动态地将它们分组为“补丁”。
2. BLT架构是一个由三部分组成的系统，旨在更有效地处理和转换字节级数据，包括全局转换器、本地编码器和本地解码器。
. 实验评估表明，BLT在多个具有挑战性的基准测试中均表现，字符级任务中，BLT的表现远超基于token的模型，在测试复杂序列操作和理解的CUTE基准测试中，BLT的表现比现有模型高出25分以上，并在拼写任务中实现了99%的准确率。
4. 在FLORES-101基准测试中，T在英语翻译中取得了2分的总体优势，在英语翻译中取得了0.5分优势。，通过使用预先训练的Llama 3.1初始化全局转换器，研究人员发现了一种迁移学习方法，它不仅了训练计算要求，而且显著提高了。

1. 12月26日，有“AI界的拼多多”之称的DeepSeek发布了最新系列模型DeepSeek-V3首个版本并同步开源。该模型可以处理一系列基于文本的工作负载和任务，如编码、翻译以及根据描述性提示撰写论文和电子邮件。根据DeepSeek的内部基准测试，DeepSeek V3的性能优于可下载的 “公开 ”可用模型和只能通过API访问的 “封闭 ”人工智能模型。
2. DeepSeek-V3代码可通过GitHub基于MIT许可进行获取，企业亦可通过类似ChatGPT的DeepSeek Chat平台测试这套新模型，并访问API以供商业使用。
3. 该公司称，DeepSeek-V3的全部训练任务在约278.8万个H800 GPU小时内就能完成。假设租赁价格为每GPU每小时租金为2美元，则为557万美元，这比以往大语言模型动辄上亿美元的预训练成本明显要低得多。
4. DeepSeek-V3一跃成为当前市面上最强的开源大模型，该公司运行了多项基准测试以比较其AI性能，并指出DeepSeek-V3以令人信服的表现优于其他领先开放模型，包括Llama-3.1-405B以及通义千问的Qwen 2.5-72B，其甚至大多数基准测试中都优于闭源GPT-4o模型，仅在以英语为中心的SimpleQA和FRAMES测试中逊一筹。
5. DeepSeek为DeepSeek-V3 API设定的价格与上一代DeepSeek-V2相同，即每百万输入tokens 0.1元（缓存命中）/1元（缓存未命中）、每百万输出tokens 2元。但在明年2月8日之后，计费将调整为每百万输入tokens 0.5元（缓存命中）/2元（缓存未命中），每百万输出tokens 8元。

1. OpenAI发布o3：编程能力顶尖，破解复杂数学，多项基准突破
2. 日本推出“iRolePlay”对话AI：训练客服应对客户”，降低离职率
3. 马斯克xAI再融60亿美元，加速Grok 3研发与基础设施扩建
4. 马斯克预测：2025年AI智力超越个体，2027-28年可能超越全人类
5. 英国NHS试用全球首个AI工具提前10年预测2型糖尿病风险
6. AI仿冒名人带货违法，消费者可退一赔三
7. 宇树科技B2-W机器狗展示全能技能：上山入水，驮人奔跑
8. 腾讯混元大模型开源成绩单公布：近1.4万星，多次登顶开源热榜
9. 迈瑞医疗与腾讯发布「启元重症大模型」：AI助力ICU
10. 广汽发布第三代人形机器人GoMate：2026年量产

1. 近年来，大型语言模型发展迅速，国内外的核心大模型在功能和性能上各有千秋。文章对比了Google的Gemini、Anthropic的Claude、OpenAI的GPT-4o和O1等模型的规模和参数量、训练数据和方法、性能表现、安全性、可解释性和可控性、应用场景和商业价值等方面的差异。
2. 模型规模和参数量方面，Google Gemini有Ultra、Pro和Nano三种尺寸，OpenAI的GPT-4o参数量超过1750亿，而GPT-4o mini的与Llama 8b相当。
3. 训练数据和方法方面，Google Gemini使用Google的Tensor Processing Units（TPUs）v4和v5e进行训练，并 AI优化，Anthropic Claude基于Anthropic对训练有益、诚实和无害AI系统的研究，OpenAI GPT-4o支持API中的文本和视觉功能，未来将图像、视频和音频输入和输出，OpenAI O1模型系列使用大规模强化学习进行训练，并使用思维链进行推理。
4. 性能表现方面，Gemini Ultra在32个广泛使用的大型语言模型（LLM）研发学术基准测试中有30个超过了当前最先进的结果，Open GPT-4o在文本、推理和编码智能方面达到了GPT-4 Turbo级别的性能，同时在多语言、音频和视觉能力方面树立了新的标杆。
5. 安全性、可性和可控性方面，Google Gemini进行了迄今为止任何Google AI模型中最全面的安全评估，Anthropic Claude不太可能产生有害输出，更容易交谈，并且更易于操控，OpenAI从一开始就教导其AI明辨是非，过滤有害内容并以同理心做出回应。
. 应用场景和商业价值方面，Gemini Ultra是第一个在MMLU（大规模多任务语言理解）方面超越人类专家的模型，Claude是新一代的AI助手，GPT-4o最应用之一是AI能够现场演唱摇篮曲或歌曲，O1模型在处理需要逻辑、数学和技术专长的任务时，其性能得到了显着提高。
7. 未来发展趋势方面，LLM的发展趋势将体现在规模更大、能力更强、多模态融合、安全性提升、可解释性增强、应用场景拓展方面。

1. 市场上已涌现出工业大模型，按照发布主体可划分为工业企业发布的大模型和供应商发布的大模型
2. 盘点了53个工业大模型，包括通用工业大模型、行业大模型和场景大模型

1. 杭州一个团队用相当于知名大厂零头的钱打造了一个性能相当的大模型DeepSeek-V3还把具体思路和成果都免费开源了。
2. 推动人工智能大模型发展的因素有输入数据的质量和规模、对于“思考”的理解和领悟、硬件基础设施。
3. 知名大厂存在混淆质量和规模的概念、只会英语思维、过度依赖GPU算力等硬伤。
4. 开发DeepSeek-V3的公司是炒股的，不靠人工智能挣钱，所以将模型设计的思路以及模型本身都直接免费送出来了。

1. 随着人工智能技术的迅速发展，大模型在金融领域的应用潜力逐渐显现。无论是在风险管理、智能投顾，还是反欺诈等场景，大模型都展现了强大的能力。对于金融行业来说，准确性、安全性、实时性、可解释性以及定制化需求使得搭建适用于金融场景的大模型架构成为一项复杂且关键的任务。本文将详细讲解如何构建一个适应金融场景的大模型产品架构，涵盖应用场景、核心架构设计、大模型的实际价值、搭建大模型金融产品架构的关键成功要素。
2. 金融行业具有高精准、安全性和高实时性的特点，因此大模型在金融场景中的应用必须满足以下特殊要求：数据合规性、高可靠性、可解释性、强场景定制化。
3. 大模型在金融场景中的应用场景包括风险管理、投资服务、合规监控、智能投研、智能运营、智能投顾。
4. AI能力包括图像识别、文本抽取、语义分析。
5. AI训练标注平台提供了文档类型管理、AI标注管理、AI模型训练与管理功能。br>6. AI智能处理引擎包括NLP（自然语言处理）功能和OCR（光学字符识别）功能。
7. 业务数据支持包括图像文件、PDF文件、Word与Excel文件、其他文件类型。
8. 大模型在金融场景中为机构带来了提升运营效率、降低风险、增强决策支持、优化客户服务的核心价值。
9. 搭建大模型金融产品架构的关键成功要素包括多方协作、迭代优化、合规保障、用户体验。

1. 高质量的财务治理能力是构建新时代大学创新体系的坚强保障，中国石油大学（华东）人机协同智能财务管理模式是一个优秀案例。
2. 该模式以“科学化、规范化、系统化、个性化”为目标，通过运用机器学习、流程挖掘、RPA等技术，实现了“互联共享、业财一体”的目标。
3. 该模式包括智能财务时代学校面临的挑战、信息技术应用创新带来变革机遇、人机协同智能模式构建、人机协同智能模式经典场景、实践成效等部分。
4. 实践证明，该模式促进了业财融合，规范了财务工作，提高了会计信息质量。

1. 文章指出，人类的进步源于在封锁与壁垒面前，人们选择相信自己相信未来，用创造力与勇气去冲破阻碍，真正驱动技术变革和社会发展的是信念与意志。文章还提到，希望不仅存在于个人心中，也深植于集体文化与社会结构之中，它体现在国家或民族的集体意识形态里，鼓舞着一代又一代人去突破瓶颈。 2. 文章介绍了DeepSeek在算力桎梏下的横空出世，以及其在工程方面的尝试，包括在形式化定理证明和大规模通用语言模型领域的关键创新。 3. 文章还介绍了DeepSeek的企业文化和追求，包括不小心成了“鲶鱼”、原创式创新、组织文化、商业视角和对未来的乐观与期待。

1. 2年大模型发展迅速，LLM、文生图、视频生成等模型百花齐放。
2. Artificial Analysis平台发布了2024年AI大模型总结报告，提供了各个模型的性能和成本对比。
3. 前沿模型方面，多个实验室迎头赶上了OpenAI的GPT-4，并且出现了超越GPT-4智能水平的模型。
4. 开源模型和闭源商业模型之间的性能差距已经显著缩小。
5. 大语言模型推理定价大幅下降，小型模型达到了以前只有大型模型才能达到的智能水平。
人工智能价值链中，参与者在垂直整合程度上有所不同。
7. 模型的推理质量和价格是选择模型的主要决策因素。
8. 大多数用户倾向使用多模态能力，AI模型的用户打算在他们的应用中使用模型。
9 对于文生图模型，202年图像生成质量迅速进步。
10. 对于视频生成，竞争在加速。
. 对于语音合成，基于最新一代transformer的文本生语音模型在2024年达到了新的质量里程碑。
12. 对于语音识别，OpenAI在2022年底开源了Whisper，重塑了AI转录领域。

1. 小米正在搭建万卡，将对AI大模型加大投入，该计划已数月，小米创始人兼董事长雷军该团队重要的领导角色
2. 高性能计算是大模型发展的基础，而GPU在其中扮演重要作用，随着AI在如今社会中发挥着越来越重要的作用，应用领域不断扩展，需要计算资源也越来越多，因此对于GPU需求也在不断
. 小米搭建万卡GPU集群，加大AI大模型投入，如今我们生活中有不少领域开始充斥着的身影，包括AI配音、AI影像、AI图片、AI导航，以及人正在使用免费AI大模型等
4.早在2016便开始组建第一只AI团队，逐步建立了视觉、语音、、知识图谱、NLP、机器学习、多等AI技术能力
5. 国内目前已经有多家开展了万卡的建设，例如华为昇腾、科大讯飞、中国电信、等，其中中国电信在上海、北京两个万卡集群已经投产，而中国移动位于呼和浩特、哈尔滨卡级别的智算中心也已经先后投产运行
6. 越来越多的企业开始更为注重AI，包括理想汽车创始人李想此前公开表示，理想汽车不仅是一家汽车制造企业，更是一家AI企业
7. 小米拥有一项重大，其AI大模型可以的“人车家”完美契合，甚至可以说AI大模型的加入，让小米“人车家”全生态完成了最后一项闭环
8. 从硬件端的互联网入口，到办公软件、游戏等领域，都已经为小米的MiLM大模型预留足够的发展空间，这是许多AI大模型企业没有的巨大优势。不仅保障了未来小米AI大模型的迭代升级，同时也解决了其数据问题，进一步加速AI大模型的升级

1. 模型优化+剪枝：包括量化和剪枝两个方面。
2. 硬件加速与内存管理：使用专用加速器和优化内存管理。
3. 软件框架/库支持与能耗优化：使用适合的软件框架和库，以及进行能耗优化。
4. 测试验证与部署维护：使用自动驾驶仿真平台进行测试验证，以及进行远程监控与调优。
5. 以实例讲解如何做好最后化软件部署：包括准备和训练原始Transformer模型、将模型转换为TensorFlow Lite格式、针对自动驾驶SoC进行特定优化、部署和集成到自动驾驶系统。

1. o3在ARC-AGI上的成绩给人类带来了震撼，但有人发现o3不会做的题是因为题目规模太大。
2. 英国ML工程师Mikel Bober-Irizar对ARC题目进行观察，发现题目中的网格规模越大，大模型的也就越差。br> 3. 米哥认为，ARC挑战并不能完全反映大模型真实的推理能力，有不少模型都被低估，o3则是被高估了。
4. 米哥引用纽约大学的研究结果，发现人类在挑战ARC问题时不会出现这种现象，说明大模型在解决此类问题时，思考方式和人类存在差别。
5. 米，观察问题的维度影响了大模型的成绩，ARC这种任务并不适合大模型。
6.认为，真正的视觉需要能够处理输入的信息，而不是逐个Token的串行输入，二进制IO数据流或许是解决方案。
7. ARC-AGI的下一代ARC-AGI-2即将推出测试表明，其将对o3构成重大挑战。