一文看懂LLM推理,UCL重磅解读OpenAI ο1的相关方法
文章概要:
1. OpenAI 最近发布的 o1 系列模型具有强大的推理能力,堪称迈向强人工智能的一次飞跃。
2. 伦敦大学学院汪军教授撰写了一份「LLM 推理教程」,介绍了 OpenAI ο1 模型背后的相关方法
3. o1 的训练使用了强化学习技术,可出色地完成复杂的推理任务。
4. o1 在数学和编程任务上的表现要强 5 倍,在 AI 安全和对齐方面也取得了进展。
5. 汪军教授全面回顾了可能的相关文献,并探讨了这一突破背后可能的核心技术和方法。
阅读原文
2. 伦敦大学学院汪军教授撰写了一份「LLM 推理教程」,介绍了 OpenAI ο1 模型背后的相关方法
3. o1 的训练使用了强化学习技术,可出色地完成复杂的推理任务。
4. o1 在数学和编程任务上的表现要强 5 倍,在 AI 安全和对齐方面也取得了进展。
5. 汪军教授全面回顾了可能的相关文献,并探讨了这一突破背后可能的核心技术和方法。
OpenAI o1与人工智能的过去与未来
文章概要:
1. 2024年9月13日,OpenAI发布了最新版本的o1模型预览,引发了公众的质疑和猜想。
2. 2010年,人工智能技术发展处于黎明前的黑暗时刻,李飞飞发布了Imagenet数据库。
3. 2011年,马斯克以天使投资人的身份参与到了DeepMind的发展中。
4. 214年,谷歌以6.6亿美元的超高溢价收购了DeepMind及其团队。
5. 2016年3月,AlphaGo以4:1的成绩战胜了李世石,震惊世界。
6. AlphaGo的成功,背后离不开母公司谷歌的支持,强大的算力是深度学习人工智能算法发展不可或缺的配套资产。<>7. AlphaGo所引发的热潮并未能一直持续,深度学习的商业前景开始受到质疑。
8. 2020年,AlphaFold2推出,在其后的2年内完成超过100万个物种2.14亿中蛋白质结构的预测解析,几乎涵盖了世界上全部的“蛋白质宇宙”。
9. 2024年5月,AlphaFold3推出,在原有的卷积神经网络和增强学习技术上,AlphaFold3运用了大模型中广泛运用的注意力机制加扩散算法。
10. 面对ChatGPT和更为新兴的大模型技术,我们仍会看到AlphaGo所经历过的风口。
阅读原文
2. 2010年,人工智能技术发展处于黎明前的黑暗时刻,李飞飞发布了Imagenet数据库。
3. 2011年,马斯克以天使投资人的身份参与到了DeepMind的发展中。
4. 214年,谷歌以6.6亿美元的超高溢价收购了DeepMind及其团队。
5. 2016年3月,AlphaGo以4:1的成绩战胜了李世石,震惊世界。
6. AlphaGo的成功,背后离不开母公司谷歌的支持,强大的算力是深度学习人工智能算法发展不可或缺的配套资产。<>7. AlphaGo所引发的热潮并未能一直持续,深度学习的商业前景开始受到质疑。
8. 2020年,AlphaFold2推出,在其后的2年内完成超过100万个物种2.14亿中蛋白质结构的预测解析,几乎涵盖了世界上全部的“蛋白质宇宙”。
9. 2024年5月,AlphaFold3推出,在原有的卷积神经网络和增强学习技术上,AlphaFold3运用了大模型中广泛运用的注意力机制加扩散算法。
10. 面对ChatGPT和更为新兴的大模型技术,我们仍会看到AlphaGo所经历过的风口。
OpenAI即将推出o1正式版
文章概要:
1. OpenAI确认:同步发布GPT系列和o1系列,o1正式版即将推出,性能远超o1预览版
2. 苹果内部员工认为,其AI落后顶尖对手超过两年
3. 人工智能服务器已占全球1/3:戴尔成第一大巨头
4. 国内首个眼科大模型「伏羲慧眼」发布
5. 金融领域是大模型渗透率最高行业
6. 微软开源 bitnet.cpp 1-bit LLM 推理框架:不靠 GPU 可本地运行千亿参数 AI 模型,能耗最多降低 82.2%
7. 阿尔特曼眼球扫描技术新突破,Orb加密新品亮相
8. 为 WhatsApp 即时通信软件引入 AI 机器人聊天记忆功能,可提供个人化推荐
9. OpenAI的算力焦虑,养活了一家价值 20 亿美元的算力租赁+能源公司
10. Anthropic的财务分析师:用AI洞悉数据,一键生成可视化报告
11. AI搜索新锐Perplexity拟融资5亿美元,新估值80亿美元
阅读原文
2. 苹果内部员工认为,其AI落后顶尖对手超过两年
3. 人工智能服务器已占全球1/3:戴尔成第一大巨头
4. 国内首个眼科大模型「伏羲慧眼」发布
5. 金融领域是大模型渗透率最高行业
6. 微软开源 bitnet.cpp 1-bit LLM 推理框架:不靠 GPU 可本地运行千亿参数 AI 模型,能耗最多降低 82.2%
7. 阿尔特曼眼球扫描技术新突破,Orb加密新品亮相
8. 为 WhatsApp 即时通信软件引入 AI 机器人聊天记忆功能,可提供个人化推荐
9. OpenAI的算力焦虑,养活了一家价值 20 亿美元的算力租赁+能源公司
10. Anthropic的财务分析师:用AI洞悉数据,一键生成可视化报告
11. AI搜索新锐Perplexity拟融资5亿美元,新估值80亿美元
数智后E | 张俊林:OpenAI o1的价值意义及强化学习的Scaling Law
文章概要:
1. OpenAI o1是自GPT4发布以来基座大模型最大的进展,它本质上是COT的自动化,通过大量逻辑数据训练大模型快速找到通向正确答案的COT路径,从而提升大模型的逻辑推理能力;2. OpenAI o1的做法让Prompt工程逐渐消亡,因为它本质上是COT等复杂Prompt的自动化,用户不需要自己构造复杂Prompt;3. OpenAI o1对Agent任务有明显提升,但对于复杂的、环节多的任务准确率还是不太高,Agent未来前途光明问题应该不大;4. OpenAI o1给大家指出一个前景光明的方向,估计后面大家又开始都往这个方向卷,这个方向资源耗费不大,偏向算法和数据一些,数据量规模估计不会特别巨大,卷起来貌似成本低一些;5. 大语言模型最基础的能力有三种:语言理解和表达能力、世界知识存储和查询以及逻辑推理能力,语言理解和表达是LLM最强的能力,世界知识能力虽说随着模型规模越大效果越好,但幻觉问题目前无法,逻辑推理能力一直都是LLM的弱项,也是最难提升的方面;6. 大模型的能力来源都来自训练数据,语言能力不用说了,任意一份预训练数据,其中都包含相当比例的语言的词法句法等成分,所以训练数据中体现语言能力的数据是最多的,这也是为何大模型的语言能力最强的原因;7. 数据中包含的世界知识含量,基本是和训练数据量成正比的,明显数据量越多,包含的世界知识越多,Scaling law是数据中包含的世界知识含量关系的一个体现,但是这里有个问题,大模型见过越多数据,则新数据里面包含的新知识比例越小,因为很多知识在之前的数据里都见过了,所以随着数据规模增大,遇到的新知识比例就越低,在世界知识方面就体现出Scaling law的减缓现象;8. 为啥逻辑推理能力最难提升?因为能体现这方面的自然数据(代码、数学题、物理题、科学论文等)在训练中比例太低,自然大模型就学不好,尽管通过不断增加数据,能增加逻辑推理方面数据的绝对数量,但因为占比太少,这方面提升的效果和增加的总体数据规模就不成比例,效果也不会太明显,就体现在逻辑推理能力Scaling law看上去的放缓;9. 目前大模型的核心能力提升,聚焦到不断通过合成数据等方式构造更多比例的逻辑推理数据上来,但是大部分逻辑推理数据的形式是<问题,正确答案>,缺了中间的详细推理步骤,而o1本质上是学会自动寻找从问题到正确答案的中间步骤,以此来增强复杂问题的解决能力;10. OpenAI o1提到了关于RL在训练和推理时候的Scaling law,并指出这与预训练时候的Scaling law具有不同特性,很明显,如果o1走的是MCTS搜索技术路线,那么把COT拆分的越细(增加搜索树的深度),或提出更多的可能选择(节点的分支增多,就是说树的宽度越宽),则搜索空间越大,找到好COT路径可能性越大,效果越好,而训练和推理的时候需要算力肯定越大。看上去有着效果随着算力增长而增长的态势,也就是所谓的RL的Scaling law。
阅读原文
OpenAI o1技术初探3:如何让模型拥有自我纠错的能力
文章概要:
1. 介绍o1在推理过程中展现出的自我纠错能力
2. 从MCTS的角度看o1 demo的具体例子
3. 借助deepmind在今年9月提出的SCoRe工作,来看模型做修正判断的一种方法
阅读原文
2. 从MCTS的角度看o1 demo的具体例子
3. 借助deepmind在今年9月提出的SCoRe工作,来看模型做修正判断的一种方法
黄仁勋新访谈:OpenAI是这个时代最具影响力公司之一,马斯克19天创造工程奇迹
文章概要:
1. 10月4日,播客节目BG2邀请到了英伟达CEO黄仁勋,他们一起讨论了AGI、机器学习加速、英伟达的竞争优势、与训练的重要性、AI领域未来的市场动态、AI对各个行业的影响、工作的未来、AI提高生产力的潜力、开源与闭源之间的平衡、马斯克Memphis超级集群、X.ai、OpenAI、AI的安全开发等。近日,BG2发布了这期播客节目。
2. 黄仁勋认为AGI和个人助理的进化很快,英伟达的竞争优势在于拥有从硬件到软件的整个堆栈,能够加速整个流程。
3. 黄仁勋认为现在是变化速度最快的时候,英伟达的优势比三四年更大了,在整体堆栈方面,英伟达在改进每一个组件。
4. 黄仁勋认为训练就是大规模推理,英伟达在改进算法和框架方面的所有工作都有助于各种安装基础。
5. 黄仁勋认为OpenAI是这个时代最具影响力的公司之一,Chat的觉醒引发了这一切,这完全令人难以置信。
6. 黄仁勋认为xAI有能力建立超级集群,埃隆所取得的成就是独一无二、前所未有的。
7. 黄仁勋认为推理的增长会比我们希望的多得多,英伟达希望是这样。9. 黄仁勋认为随着生产力的提高,我们将雇佣更多的人。
10. 黄仁勋认为我们希望确保AI是有利的,而不会导致一个反乌托邦的世界。
阅读原文
2. 黄仁勋认为AGI和个人助理的进化很快,英伟达的竞争优势在于拥有从硬件到软件的整个堆栈,能够加速整个流程。
3. 黄仁勋认为现在是变化速度最快的时候,英伟达的优势比三四年更大了,在整体堆栈方面,英伟达在改进每一个组件。
4. 黄仁勋认为训练就是大规模推理,英伟达在改进算法和框架方面的所有工作都有助于各种安装基础。
5. 黄仁勋认为OpenAI是这个时代最具影响力的公司之一,Chat的觉醒引发了这一切,这完全令人难以置信。
6. 黄仁勋认为xAI有能力建立超级集群,埃隆所取得的成就是独一无二、前所未有的。
7. 黄仁勋认为推理的增长会比我们希望的多得多,英伟达希望是这样。
10. 黄仁勋认为我们希望确保AI是有利的,而不会导致一个反乌托邦的世界。
突发!微软正与OpenAI洽谈,140亿美元投资股权
文章概要:
1. 华尔街日报消息,微软正与OpenAI进行140亿美元的投资股权谈判,股权外,微软等方面的也是谈判重点。
2. 双方都带了金融谈判专家进场,股权分配是OpenAI从非营利转型成为营利公司最棘手的难题,这是一场高风险谈判。
. 如果OpenAI给微软太多的,会改变AI赛道竞争格局,反垄断调查,还造成数据隐私和用户权益困扰,影响技术创新的多样性和速度。br> 4. OpenAI需要在不触发一系列复杂的监管前提下,给予微软合理的股权和控制权。
5. OpenAI转型成为营利型公司是迫于巨大财务在最近获得的66亿美元投资中,投资机构要求OpenAI在内需要转型成为营利公司,不然就会要求其偿还所有投资。
6. 自2019年以来,微软已经陆续向OpenAI投资了资金,尤其是2019年的10亿美元投资非常关键,把OpenAI拉回了生死线,并有资金研发出了后来的GPT-3模型。
阅读原文
2. 双方都带了金融谈判专家进场,股权分配是OpenAI从非营利转型成为营利公司最棘手的难题,这是一场高风险谈判。
. 如果OpenAI给微软太多的,会改变AI赛道竞争格局,反垄断调查,还造成数据隐私和用户权益困扰,影响技术创新的多样性和速度。br> 4. OpenAI需要在不触发一系列复杂的监管前提下,给予微软合理的股权和控制权。
5. OpenAI转型成为营利型公司是迫于巨大财务在最近获得的66亿美元投资中,投资机构要求OpenAI在内需要转型成为营利公司,不然就会要求其偿还所有投资。
6. 自2019年以来,微软已经陆续向OpenAI投资了资金,尤其是2019年的10亿美元投资非常关键,把OpenAI拉回了生死线,并有资金研发出了后来的GPT-3模型。
OpenAI与微软可能要闹掰,股权争夺战开打
文章概要:
1. OpenAI与微软曾是科技界合作典范,但关系出现紧张迹象。AI依赖微软资金和计算能力,微软也在开发自家技术,减少对OpenAI的依赖。<>2 OpenAI确定营利组织大方向后,利益分配成难题。微软对OpenAI近140亿美元的投资应如何转化为对营利公司的股权,成为双方高风险谈判的。
3. OpenAI与微软的合同中一个关键条款即如果OpenAI开发出所谓的通用人工智能(AGI,微软将无法获得OpenAI的技术。这个条款本意是确保微软不会滥用先进技术,但由于AI董事会可以决定AGI何时到来,且这一具有主观性,一条款成为了双方紧张的导火索。
4. OpenAI高管和员工对的某些举措感到愤怒。微软与OpenAI的合作如此紧密,以至于一些微软员工拥有能进入OpenAI办公室的徽章,一些OpenAI员工也可以戴着徽章进入微软的办公室。然而,这种紧密的关系并没有消除双方人员之间的矛盾。br>5. 微软不仅从OpenAI竞争对手Inflection挖走员工还在开发自家技术,与OpenAI在技术和市场方面的加剧。
阅读原文
3. OpenAI与微软的合同中一个关键条款即如果OpenAI开发出所谓的通用人工智能(AGI,微软将无法获得OpenAI的技术。这个条款本意是确保微软不会滥用先进技术,但由于AI董事会可以决定AGI何时到来,且这一具有主观性,一条款成为了双方紧张的导火索。
4. OpenAI高管和员工对的某些举措感到愤怒。微软与OpenAI的合作如此紧密,以至于一些微软员工拥有能进入OpenAI办公室的徽章,一些OpenAI员工也可以戴着徽章进入微软的办公室。然而,这种紧密的关系并没有消除双方人员之间的矛盾。br>5. 微软不仅从OpenAI竞争对手Inflection挖走员工还在开发自家技术,与OpenAI在技术和市场方面的加剧。
OpenAI与微软合作面临破裂风险:神秘AGI条款或成导火索
文章概要:
1. OpenAI与微软的联盟正因财务分歧、资源争夺和战略冲突而变得紧张,这对备受瞩目的人工智能合作的未来蒙上了
2. 微软与OpenAI之间的财务摩擦,AI预计今年将亏损50亿美元,并预计到208年将亏损440亿美元
3. 算力资源争议一个主要焦点是微软提供的计算能力,OpenAI员工担心资源不足将阻碍的创新
4. 内部冲突和对项目时间线的分歧进一步加剧合作关系的紧张
5. 合作关系中一个有趣的元素是关于通用人工智能(AGI)合同条款,如果OpenAI实现了AGI,微软将失去对OpenAI技术的访问权
6. 为了这些挑战与风险,微软开始投资其他AI项目,以减少对OpenAI的依赖
7. OpenAI一直在寻求新的投资者和合作伙伴,与苹果、英伟达和MGX等的导致了最近一轮由rive Capital领投的6亿美元融资
8. 微软在人工智能领域的旅程跨越了几十年,植根于联合创始人比尔·盖茨和保罗·的愿景
9. 微软认识到需要加速其AI进程,2019年,CTO Kevin Scott在LinkedIn被收购后加入了微软,担任专门为他创建的这一新角色,表达了微软在AI开发方面落后的担忧
阅读原文
2. 微软与OpenAI之间的财务摩擦,AI预计今年将亏损50亿美元,并预计到208年将亏损440亿美元
3. 算力资源争议一个主要焦点是微软提供的计算能力,OpenAI员工担心资源不足将阻碍的创新
4. 内部冲突和对项目时间线的分歧进一步加剧合作关系的紧张
5. 合作关系中一个有趣的元素是关于通用人工智能(AGI)合同条款,如果OpenAI实现了AGI,微软将失去对OpenAI技术的访问权
6. 为了这些挑战与风险,微软开始投资其他AI项目,以减少对OpenAI的依赖
7. OpenAI一直在寻求新的投资者和合作伙伴,与苹果、英伟达和MGX等的导致了最近一轮由rive Capital领投的6亿美元融资
8. 微软在人工智能领域的旅程跨越了几十年,植根于联合创始人比尔·盖茨和保罗·的愿景
9. 微软认识到需要加速其AI进程,2019年,CTO Kevin Scott在LinkedIn被收购后加入了微软,担任专门为他创建的这一新角色,表达了微软在AI开发方面落后的担忧
OpenAI大清洗
文章概要:
1. 自2023年底的权斗风波后,OpenAI正经历一场持续至今的权力洗牌。核心创始团队现已分崩离析,董事会、高管、技术领导层全面换血。
2. OpenAI已经有至少7人跳槽至OpenAI强力竞争对手Anthropic,至少10名OpenAI中层技术领导流失,另有至少5名OpenAI前员工于今年自立门户,开始创业。
3. OpenAI原首席科学家伊利亚·苏茨科夫(Ilya Sutskever)和GPT-4o优化团队的负责人丹尼尔·列维(Daniel Levy)联合创办了安全超级智能(SSI);联合创始人安德烈·卡帕西(Andrej Karpathy)创办AI教育企业Eureka Labs;原音频AGI负责人亚历西斯·克努亚(Alexis Conneau)已在领英上悄然宣布创办隐形创企;刚刚离职的原研究副总裁巴雷特·佐夫(Barret Zoph)也传出创业消息。
4. OpenAI还新设立了首席人事官、使命对齐主管等职务,这可能将帮助阿尔特曼加强对公司文化的控制,并提升公司纪律性。br> 5. OpenAI的技术团队还有坚实的中层领导,并在过去一年中不断从Meta、谷歌等硅谷吸纳具有开发经验的基层员工。截至目前,OpenAI的员工数量已经超过1700人,是今年年初的2倍多。
6. 目前,OpenAI首席技术官一职空缺,而今年5月接任苏茨科夫的首席科学家雅各·帕楚奇和今年9月上任的高级研究副总裁陈信翰成为了新任技术掌舵人。
7. 除了产品副总裁之外,这些岗位并未出现变动。杰森·权目前是OpenAI的首席战略官,莱特开普则是OpenAI的首席运营官。二人也是2023年OpenAI权斗风波过后,除阿尔特曼本人之外唯二幸存的C-level高管。
8. 目前,OpenAI的员工规模已达到1700余人,并且频繁出现员工高调离职,或是私下向媒体透露消息等行为。相关高管的引入可能是阿尔特曼增强OpenAI公司纪律性的方式之一。
9. 据英国《金融时报》报道,有多名OpenAI前任和现任员工称,OpenAI目前的分歧与公司商业化和开发盈利产品有关。
10. 除了统揽整个公司研发工作的陈信翰和帕楚奇之外,目前的OpenAI仍然拥有强大的领导班子。
11. OpenAI还拥有一批并未担任高管或团队负责人,但在AI界具有较高认知度的一线研发人员br> 12. 目前的OpenAI可谓是阿尔特曼本人的一言堂。在过去,负责管理OpenAI研究工作的原首席技术官穆拉蒂和原首席研究官麦克格鲁在管理研究工作的同时,还有效协调了安全团队与产品之间的矛盾,推迟了部分不够成熟的产品的发布。
阅读原文
2. OpenAI已经有至少7人跳槽至OpenAI强力竞争对手Anthropic,至少10名OpenAI中层技术领导流失,另有至少5名OpenAI前员工于今年自立门户,开始创业。
3. OpenAI原首席科学家伊利亚·苏茨科夫(Ilya Sutskever)和GPT-4o优化团队的负责人丹尼尔·列维(Daniel Levy)联合创办了安全超级智能(SSI);联合创始人安德烈·卡帕西(Andrej Karpathy)创办AI教育企业Eureka Labs;原音频AGI负责人亚历西斯·克努亚(Alexis Conneau)已在领英上悄然宣布创办隐形创企;刚刚离职的原研究副总裁巴雷特·佐夫(Barret Zoph)也传出创业消息。
4. OpenAI还新设立了首席人事官、使命对齐主管等职务,这可能将帮助阿尔特曼加强对公司文化的控制,并提升公司纪律性。br> 5. OpenAI的技术团队还有坚实的中层领导,并在过去一年中不断从Meta、谷歌等硅谷吸纳具有开发经验的基层员工。截至目前,OpenAI的员工数量已经超过1700人,是今年年初的2倍多。
6. 目前,OpenAI首席技术官一职空缺,而今年5月接任苏茨科夫的首席科学家雅各·帕楚奇和今年9月上任的高级研究副总裁陈信翰成为了新任技术掌舵人。
7. 除了产品副总裁之外,这些岗位并未出现变动。杰森·权目前是OpenAI的首席战略官,莱特开普则是OpenAI的首席运营官。二人也是2023年OpenAI权斗风波过后,除阿尔特曼本人之外唯二幸存的C-level高管。
8. 目前,OpenAI的员工规模已达到1700余人,并且频繁出现员工高调离职,或是私下向媒体透露消息等行为。相关高管的引入可能是阿尔特曼增强OpenAI公司纪律性的方式之一。
9. 据英国《金融时报》报道,有多名OpenAI前任和现任员工称,OpenAI目前的分歧与公司商业化和开发盈利产品有关。
10. 除了统揽整个公司研发工作的陈信翰和帕楚奇之外,目前的OpenAI仍然拥有强大的领导班子。
11. OpenAI还拥有一批并未担任高管或团队负责人,但在AI界具有较高认知度的一线研发人员br> 12. 目前的OpenAI可谓是阿尔特曼本人的一言堂。在过去,负责管理OpenAI研究工作的原首席技术官穆拉蒂和原首席研究官麦克格鲁在管理研究工作的同时,还有效协调了安全团队与产品之间的矛盾,推迟了部分不够成熟的产品的发布。
OpenAI首席产品官Kevin Weil分享公司最新AI产品路线图,并透露其在AI行业中保持领先策略
文章概要:
1. OpenAI首席产品官Kevin Weil分享公司最新AI产品路线图,并透露其在AI行业中保持领先策略。
2. Weil阐述了AI模型发展的传统路径,即通过增加计算量和扩大预训练数据集来提升模型性能。他以GPT系列模型为例,解释了从GPT-1到GPT-4的演进过程,未来可能还有GPT5。
3. o1模型具备了“推理”能力,在知识前沿推进方面有潜力,但在编程或创意写作等日常任务中的表现还有待验证。
4. AI领域的竞争异常激烈,各研究实验室都在不同方向上取得突破。OpenAI认为目前的阶段相当于GPT-2的阶段,他们会努力再领先三步。
5. OpenAI的产品理念是,更多的AI对世界更好。因此,他们希望让更多的开发者能够使用AI,做出令人惊叹的产品。
6. Kevin Weil对开源模型的出现感到很高兴,他认为这不是非此即彼的选择,更多的选择是一件好事。
7. OpenAI会尽力让差距扩大,他们的任务是做那些大云提供商无法做到的事情,他们要走得更快,在产品和新模型功能上承担更多风险。
8. o1模型有很多有趣的挑战,其中之一是它打破了以往构建模型的范式,它在科学、推理和数学等纯推理领域表现得非常出色。
9. o1模型的广泛适用性非常明显,像治愈癌症这样的最艰难的科学任务,可能需要模型具有强大的推理能力。
10. o1模型的任务是在未来占据更大的比重,它需要时间思考,在输出答案时给出它的思考过程的总结,用户可以看到它如何推导出答案。
11. Kevin Weil建议开发者思考那些AI还不能完全胜任的任务,当你朝这些方向构建产品时,可能现在它还不能完全实现,但三个月后它就能实现,到那时你将会拥有一个非常棒的产品。
12. OpenAI目前没有任何与广告相关的计划,他们的部分使命是将AI带给所有人。
13. Kevin Weil认为,很明显,模型的响应需要变得更加丰富,现在的交互大多是文本的来回传递。
14 OpenAI采取的做法是发布了一个模型规范,并提供了大量示例,基本上表明这是他们指导模型遵循的规范,它已经公开发布了,你可以去阅读,并提供意见。
15. OpenAI的信念是两者兼而有之,这是一种“深度防御”的方式。有些事情他们希望模型永远不会做,永远不会回答。而有些事情则会根据应用场景的不同而改变。
阅读原文
2. Weil阐述了AI模型发展的传统路径,即通过增加计算量和扩大预训练数据集来提升模型性能。他以GPT系列模型为例,解释了从GPT-1到GPT-4的演进过程,未来可能还有GPT5。
3. o1模型具备了“推理”能力,在知识前沿推进方面有潜力,但在编程或创意写作等日常任务中的表现还有待验证。
4. AI领域的竞争异常激烈,各研究实验室都在不同方向上取得突破。OpenAI认为目前的阶段相当于GPT-2的阶段,他们会努力再领先三步。
5. OpenAI的产品理念是,更多的AI对世界更好。因此,他们希望让更多的开发者能够使用AI,做出令人惊叹的产品。
6. Kevin Weil对开源模型的出现感到很高兴,他认为这不是非此即彼的选择,更多的选择是一件好事。
7. OpenAI会尽力让差距扩大,他们的任务是做那些大云提供商无法做到的事情,他们要走得更快,在产品和新模型功能上承担更多风险。
8. o1模型有很多有趣的挑战,其中之一是它打破了以往构建模型的范式,它在科学、推理和数学等纯推理领域表现得非常出色。
9. o1模型的广泛适用性非常明显,像治愈癌症这样的最艰难的科学任务,可能需要模型具有强大的推理能力。
10. o1模型的任务是在未来占据更大的比重,它需要时间思考,在输出答案时给出它的思考过程的总结,用户可以看到它如何推导出答案。
11. Kevin Weil建议开发者思考那些AI还不能完全胜任的任务,当你朝这些方向构建产品时,可能现在它还不能完全实现,但三个月后它就能实现,到那时你将会拥有一个非常棒的产品。
12. OpenAI目前没有任何与广告相关的计划,他们的部分使命是将AI带给所有人。
13. Kevin Weil认为,很明显,模型的响应需要变得更加丰富,现在的交互大多是文本的来回传递。
14 OpenAI采取的做法是发布了一个模型规范,并提供了大量示例,基本上表明这是他们指导模型遵循的规范,它已经公开发布了,你可以去阅读,并提供意见。
15. OpenAI的信念是两者兼而有之,这是一种“深度防御”的方式。有些事情他们希望模型永远不会做,永远不会回答。而有些事情则会根据应用场景的不同而改变。
突发!微软正与OpenAI洽谈,140亿美元投资股权
文章概要:
1 微软正与OpenAI进行140亿美元的投资股权谈判,了股权之外,微软作为OpenAI的最大股东,其转型之后在公司治理、发展方面有多少的控制权也是谈判重点
2. 股权分配是AI从非营利转型成为营利公司最棘手的难题,这是一场高风险谈判。如果OpenAI给微软太多的,不仅会改变AI赛道的竞争格局还会引起美国、欧盟反垄断监管机构的严格调查
3. 微软和OpenAI的合作,使其能够访问OpenAI大量的用户数据,造成数据隐私和用户权益困扰。在许多国家和地区,数据保护法规正在变得越来越严格,任何可能用户隐私的行为都可能受到严厉的监管
4.OpenAI中的大额股份还可能到技术创新的多样性和速度。如果微软在OpenAI中拥有过多的控制权,可能会限制其他公司和研究机构在领域的探索和创新,从而减缓整个行业的技术进步
5. OpenAI在最近获得由Thrive Capital、英伟达、微软、银等投资的66亿美元中,这些投资机构要求OpenAI在两年内需要转型成为营利公司,不然就会要求OpenAI偿还所有投资
6. 自2019年以来,微软已经陆续向OpenAI了大量资金,包括最新一轮的66亿美元融资。尤其是201那笔10亿美元投资关键
7. 当时马斯克刚离开OpenAI并停止了所有资金赞助OpenAI已经濒临破产甚至向员工发工资的钱都拿不出来了。正是微软的10亿美元才把OpenAI拉回了生死线,资金研发出了后来的GPT-3模型
阅读原文
2. 股权分配是AI从非营利转型成为营利公司最棘手的难题,这是一场高风险谈判。如果OpenAI给微软太多的,不仅会改变AI赛道的竞争格局还会引起美国、欧盟反垄断监管机构的严格调查
3. 微软和OpenAI的合作,使其能够访问OpenAI大量的用户数据,造成数据隐私和用户权益困扰。在许多国家和地区,数据保护法规正在变得越来越严格,任何可能用户隐私的行为都可能受到严厉的监管
4.OpenAI中的大额股份还可能到技术创新的多样性和速度。如果微软在OpenAI中拥有过多的控制权,可能会限制其他公司和研究机构在领域的探索和创新,从而减缓整个行业的技术进步
5. OpenAI在最近获得由Thrive Capital、英伟达、微软、银等投资的66亿美元中,这些投资机构要求OpenAI在两年内需要转型成为营利公司,不然就会要求OpenAI偿还所有投资
6. 自2019年以来,微软已经陆续向OpenAI了大量资金,包括最新一轮的66亿美元融资。尤其是201那笔10亿美元投资关键
7. 当时马斯克刚离开OpenAI并停止了所有资金赞助OpenAI已经濒临破产甚至向员工发工资的钱都拿不出来了。正是微软的10亿美元才把OpenAI拉回了生死线,资金研发出了后来的GPT-3模型
适用于 .NET 稳定的官方OpenAI库
文章概要:
1 官方OpenAI库为.NET开发者提供的接口AI的REST API。
2. 库按OpenAI API的功能区域组织成不同的命名空间,命名对应的类。br>3. 所有客户端方法都同步和异步调用方式。
. 推荐通过环境变量或配置文件来管理API密钥。
5. 支持流式传输聊天完成结果
6. 允许在聊天完成请求中集成外部工具调用。
7. 支持使用JSON Schema来约束聊天完成的内容。
. OpenAI的最新旗舰模型均得到。
9. 安装AI NuGet包可以体验OpenAI的各种AI模型功能。
10. 给出了在.NET应用程序中使用OpenAI库的代码片段示例
11. 项目源码地址为https://github.com/openai/openai-d。
12 该已收录C#/./.NET Core优秀项目和框架精选
阅读原文
2. 库按OpenAI API的功能区域组织成不同的命名空间,命名对应的类。br>3. 所有客户端方法都同步和异步调用方式。
. 推荐通过环境变量或配置文件来管理API密钥。
5. 支持流式传输聊天完成结果
6. 允许在聊天完成请求中集成外部工具调用。
7. 支持使用JSON Schema来约束聊天完成的内容。
. OpenAI的最新旗舰模型均得到。
9. 安装AI NuGet包可以体验OpenAI的各种AI模型功能。
10. 给出了在.NET应用程序中使用OpenAI库的代码片段示例
11. 项目源码地址为https://github.com/openai/openai-d。
12 该已收录C#/./.NET Core优秀项目和框架精选
OpenAI最新产品Swarm问世,你的工作还安全吗?
文章概要:
1. OpenAI最新产品Swarm问世,可能是AI觉醒的先兆。
2. Swarm系统中的每个AI特工都在默默着它的使命,轻松搞定人类望而却步的难题。
3. 当遇到棘手的产品问题急需客服支持时,接待的将不再是情绪的人类,而是永不疲倦、知识渊博的客服军团。<> 4. AI可能会产生"幻觉",做出匪夷所思的判断。
5. OpenAI强调Swarm目前还只是实验性的教育框架,但它无疑为AI的未来指明了方向。
阅读原文
2. Swarm系统中的每个AI特工都在默默着它的使命,轻松搞定人类望而却步的难题。
3. 当遇到棘手的产品问题急需客服支持时,接待的将不再是情绪的人类,而是永不疲倦、知识渊博的客服军团。<> 4. AI可能会产生"幻觉",做出匪夷所思的判断。
5. OpenAI强调Swarm目前还只是实验性的教育框架,但它无疑为AI的未来指明了方向。
突发!微软正与OpenAI洽谈,140亿美元投资股权
文章概要:
1. 微软正与OpenAI进行140亿美元的投资股权谈判,除了股权之外,微软作为OpenAI的最大股东,其转型之后在公司治理、发展方面有多少实际的控制权也是谈判重点;2. 股权分配是OpenAI从非营利转型成为营利公司最棘手的难题,这是一场高风险;3. 微软就是因为反垄断调查才退出的OpenAI董事会;4. 微软和OpenAI的合作,使其能够访问OpenAI大量的用户数据,造成数据隐私权益困扰;5. 微软在OpenAI中的大额股份还可能影响到技术创新的多样性和速度;6. OpenAI需要在不触发一系列复杂的监管前提下,给予微软合理的股权和控制权;7. OpenAI转型成为营利型公司也是迫于巨大财务压力;8. 自2019年以来,微软已经陆续向OpenAI投资了大量资金,包括最新一轮的66亿美元融资;9. 没有微软就没有今天的OpenAI,可能也不会出现ChatGPT现象级生成式AI产品。
阅读原文
AIoT要闻5条 | OpenAI 开放 ChatGPT Windows 版本
文章概要:
1. OpenAI宣布向所有ChatGPT Plus、Enterprise、Team和Edu用户,提供Windows桌面应用早期版本。
2. 微软亚洲研究院提出的VisEval评估框架,自动化生成图表的可靠性提供了解决方案,因此荣获了IEEE VIS 2024的最佳论文奖。
3 特斯拉5级自动驾驶汽车原型Cybercab - 全球首款无方向盘全自动驾驶汽车来了
4. 联想创新科技大会2024开幕,联想一口气发布了PC个人AI智能体搭载英伟达新核弹Blackwell的液冷服务器,以及海量. 斯坦福了全球顶尖行业中心,想要集合整个的智慧结晶和科研成果。
阅读原文
2. 微软亚洲研究院提出的VisEval评估框架,自动化生成图表的可靠性提供了解决方案,因此荣获了IEEE VIS 2024的最佳论文奖。
3 特斯拉5级自动驾驶汽车原型Cybercab - 全球首款无方向盘全自动驾驶汽车来了
4. 联想创新科技大会2024开幕,联想一口气发布了PC个人AI智能体搭载英伟达新核弹Blackwell的液冷服务器,以及海量. 斯坦福了全球顶尖行业中心,想要集合整个的智慧结晶和科研成果。
AI大模型的天花板:OpenAI的收入与估值
文章概要:
1. OpenAI以1570亿美元的估值融资了66亿美元
2. OpenAI的基本呈现半年翻倍的指数增长趋势
3. OpenAI的收入早已大于成本,毛利早已为正
4. OpenAI费用规模较大,2024年预计合计应在每年50亿美元之上
5.AI的财务模型大致可以清晰2025年预计亏损50亿美元
6. OpenAI的估值会更高,PS给20就是4000亿美元估值
7. OpenAI的焦点就是其收入增长趋势
阅读原文
2. OpenAI的基本呈现半年翻倍的指数增长趋势
3. OpenAI的收入早已大于成本,毛利早已为正
4. OpenAI费用规模较大,2024年预计合计应在每年50亿美元之上
5.AI的财务模型大致可以清晰2025年预计亏损50亿美元
6. OpenAI的估值会更高,PS给20就是4000亿美元估值
7. OpenAI的焦点就是其收入增长趋势