今日AI-OpenAI-2024年11月8日

发现全网最新的AI内容

川普赢了,AI圈沸腾了!英伟达市值突破3.6万亿, OpenAI研究员重磅预言:他或将见证AGI诞生

文章概要:

1. 美国大选后,英伟达市值突破3.6万亿,成为史上首个市值超3.6万亿美金的巨头
2. 分析师英伟达在11月20日将交出一份漂亮的成绩单:估计季度收入将长超80%,达到329亿美元
3. OpenAI微调研究员Steven Heidel表示,在特朗普任职期间(2025-2029),我们很可能会见证AGI的到来
4. 特朗普的第二个任期预计将直接推动企业并购、私募股权交易和风险投资退出
5. 特朗普可能会指示司法部,终止今年早些时候对苹果提起的垄断诉讼
6. 特斯拉股价大涨,离不开马斯克全力支持特朗普的连任竞选
7. 谷歌在过去两个交易日中大幅上涨了6.5%
8. Meta的股价在此期间并不理想
9. 纽约时报的一篇文章扒出:前,硅谷的科技公司CEO们已经在悄悄特朗普示好了
阅读原文

OpenAI CEO Sam Altman: 推理能力是实现下一次价值飞跃的关键

文章概要:

1. OpenAI CEO Sam Altman在访谈中强调了推理模型的重要性,认为它是实现多年愿望和推动各方面发展的关键。
2. OpenAI计划开发无代码工具,帮助非技术背景的创始人构建和扩展AI应用程序。
3. Altman认为代理是可以委派长期执行的任务,且只需最少的监督
4. OpenAI的成功在于不断尝试全新的、未经验证的事物,创新文化是推动人类进步的重要动力。
5. 成功的公司需要既有年轻的、有活力的人才,也需要经验丰富的专业人士,关键在于保持高标准的才能。
6. 推理能力是实现下一次巨大价值飞跃的关键,OpenAI将在多个方面增强这一能力。
阅读原文

OpenAI 买下 chat.com:千万美元域名背后的故事

文章概要:

1. OpenAI 首席执行官 Sam Altman 昨天在社交平台 X 上发布消息OpenAI 已买下 chat.com 域名,点击该域名可自动跳转至 ChatGPT 首页。
2. Chat.com 域名最早注册于 196 年 9 月,此前由 HubSpot 联合创始人harmesh Shah 于 202 1 月买下,当时价格为 1550 万美元。
3. Dharmesh Shah 在 202 年 1 月买下 chat.com 域名后,于同年 3 月将该域名转给另一位买家,价格高于买入价,但未透露买家信息。br>. 一年半后,Dharmesh Shah 证实 OpenAI 是神秘买家,他表示不想从朋友身上获利,且十分喜欢 OpenAI 这家公司,现在已成为AI 的投资者。br> 5. 此次 OpenAI 买下 chat.com 域名,可能是以大部分 OpenAI 的股份+少量现金的形式完成的。
.买下 chat.com 之前,ChatGPT 的域名一直是 chatgpt.com,此次将“GPT”从域名中移除,似乎是 OpenAI 品牌重塑的重要一环。
7. 有媒体报道 OpenAI 将 ai.com 域名卖给了马斯克,用于其 AI 公司 xAI,但也有媒体报道 OpenAI 仍然持有 ai.com
8. 音乐创作公司 Suno 在拥有 suno.ai 的情况下还买下 suno 域名;AI 初创公司 Friend 在只筹集了 250 万美元的情况下,花费 180 万美元购买了 friend.com 域名。
阅读原文

OpenAI o1完全体上线前大揭秘:视觉、推理、路径规划能力有进步,但依然不完美

文章概要:

1. 2024年各种模型轮番登场,但智能体验边际效益在减少,直到9月13号OpenAI发布o1模型,它采用“推理scaling law”技术,自己产生思维链,进而规划解决路径,并且在原因质疑问题的合理性。
2. o1-preview在独立解决复杂问题、链路问题上的能力提升,是其核心亮点之一,它可以完整编写一个小型程序,或者大程序的模块。
3. 带有视觉能力的o1曾在OpenAI的官网短暂上线,并展示了不少图片的推理与思考能力,但它也存在一些问题,比如处理粒度较高的定位问题,对于细节的能力也同样存在短板。
4. o1最大的升级两点是分析与思考能力,它会反思,也会去探索问题的途径,并且会在收到反馈后制定新计划。
5. 长期来看,随着o1自主路径规划能力的模态大模型开始普及,的来源将从传统的通过预训练增加知识,分出一部分资源往推理侧增加思考能力的方向转变。
阅读原文

AI资讯 | OpenAI收购Chat.com域名,为用户带来更便捷的体验!

文章概要:

1. OpenAI成功收购老牌域名Chat.com,预估金额达2000万美金,AI已将该域名定向至GPT,这一变化将为用户带来更加便捷的访问体验
2. 字节跳动推出最新单图视频驱动X-Portrait2,以超低成本和高效的创造富有表现力和逼真的角色动画
3. 可灵内测“自定义模型”功能,解决了AI视频生成中一致性的问题
4. 阿里巴巴正测试名为“Animode”的AI视频创作,这是一款专业的3D软件,用户只需上传图片或视频等素材,便可以通过该工具将现实世界的视频转换为二次元风格的视频
5.mo家最新的开源视频生成模型Mochi 1,在运动质量方面表现出色,并且具有极强的提示依从性。Genmo还在官网提供免费,完全免费,只不过限制每6小时生成2个视频
阅读原文

AI资讯 | OpenAI收购Chat.com域名,为用户带来更便捷的体验!

文章概要:

1. OpenAI收购Chat.com域名,将其定向至ChatGPT,为用户带来更便捷的访问体验
2. 字节跳动推出最新单图视频驱动技术X-Port2,以超低成本和的方式创造富有表现力和逼真的角色动画
3. 可灵内测“自定义”功能,解决了AI生成中角色的问题>4. 阿里巴巴正测试名为Animode的AI视频创作工具,可将世界的转换为二次元风格的视频,并支持捕捉真人动作
5. Genmo家最新开源视频生成模型ochi 1,在运动质量方面表现出色,并且具有极强的提示依从性,Genmo还在官网提供了免费试用
阅读原文

品牌升级!OpenAI以超过1500万美元的价格收购了域名chat.com

文章概要:

1. OpenAI以超过1500万美元的价格收购域名chat.com
2. Chat.com最初于1996年9月互联网上最古老之一
3. Chat.com在过去几年中经历高价易手
4. 11月6日,首席执行官Sam Altman在上“chat.com”确定该神秘是AI
5. Chat.com这一域名具有极高的市场价值和历史意义
6. 对于OpenAI而言,收购chat.com是其品牌战略重要组成部分
阅读原文

域名背后的AI帝国:DeepMind、OpenAI与XAI的传奇之旅

文章概要:

1. 206年,AlphaGo在韩国首尔以4:1战胜世界冠军李世石,全球,而这背后站着的是DeepMind成立于2010年英国伦敦专注于深度学习,收购,借助谷歌的强大资源,最终孕育出AlphaGo这一人工智能杰作,改写了人机对弈的历史。DeepMind所使用的域名dpmd.ai成为了人们关注的焦点,.ai域名DeepMind研究方向和业务高度契合,不仅易于记忆和传播,更彰显了其人工智能领域的专业性和领先地位
2. 2020年,Joshua偶然发现Project December网站,能通过AI技术重现逝去亲人。他满怀希望地输入已逝去8年女友Jessica的,一个模拟她的AI聊天机器人诞生了。JoshuaProject December的聊天机器人,便是基于openAI的GPT-3生成的。OpenAI官网的域名则为openAI.chat,该域名地传达AI的核心业务——聊天与自然语言处理> 3. OpenAI的联合创始人还有埃隆·马斯克。2015年,他们共同创立了这家非营利性的人工智能研究机构。然而,OpenAI转向营利性并加强与科技巨头的合作,马斯克于2018离开,并随后创办XAI,继续他在人工智能安全与领域的探索。XAI的是x.ai,其中“X”代表、探索和突破,马斯克在多个领域展现的创新精神高度契合
阅读原文

域名背后的AI帝国:DeepMind、OpenAI与XAI的传奇之旅

文章概要:

1. DeepMind战胜世界冠军:20年,AlphaGo世界围棋冠军李世石,全球,其背后的DeepMind是一个被谷歌收购人工智能先锋,专注于深度学习研究。DeepMind所使用的域名dpmd.ai人工智能领域高度契合,易于记忆和传播
2. AI重生:OpenAI.chat的奇迹:2020年,Joshua通过Project December网站的AI聊天机器人,与8进行对话,这段经历让他看到了科技的力量。OpenAI官网的openAI.chat,精准地传达了其核心业务——聊天自然语言。
3. OpenAI与钢铁侠:OpenAI的联合创始人是埃隆·马斯克,28年他离开OpenAI并创办XAI,继续在人工智能安全与道德领域的探索。XAI的域名x.,与马斯克在多个领域展现的创新精神高度契合。
阅读原文

AI法律评论丨OpenAI起诉“open.ai”域名所有者案件反转?

文章概要:

1. OpenAI起诉“open.ai”域名所有者案件反转?OpenAI对Open AI(有空格)公司提起诉讼,称其侵犯商标,造成消费者混淆。近期,Open AI(有空格)提交反诉,详述反向商标混淆、欺骗行为和公司虚假陈述指控。n2. 权威AI开源标准1.0版发布:Llama也不算开源OSAID 1.0版本发布,旨在为全球AI开发人员和用户提供一个明确的框架,用以判断系统是否满足“开源人工智能”的标准。 3. 新华社批“AI污染”乱象。新华社发布题为《警惕“AI污染”乱象》的文章,指出AI制造的“信息垃圾”产量庞大,且辨别难度较大、筛选成本较高。 4. 商汤科技组织机构大调整。商汤科技近期转型进行了裁员,赔偿标准为N+1,较去年的N+2.5有所降低。
阅读原文

ChatGPT入局AI搜索,智能计算未来如何演进?丨杉数观点

文章概要:

1. OpenAI官宣ChatGPT为AI搜索产品,这一转变彰显了计算作为强大引擎的关键作用。智能计算通过运用神经网络机器学习等技术,高效处理和分析庞大数据意图,搜索结果排序与呈现,显著提升信息检索与处理效率。 2. 智能计算为人工智能等领域带来巨大潜力和机遇,但在应用过程中,技术瓶颈、可靠性与可解释性、算力限制等问题依然不容忽视,亟需深入探索与解决。 3.智能计算在应用过程中的挑战,可以从健全数据管理提升算法透明度和可推进算法硬件创新等多个维度寻找突破 4. 智能计算正逐步克服障碍,并在多领域展现出其独特价值。从模型的深度学习工业制造的智能化,再到能源电力的精准管理和金融服务的高效决策,智能计算为这些行业带来前所未有的变革和机遇,开启智能发展
阅读原文

中经AI商业洞察 | Meta前硬件主管加入OpenAI,主攻机器人和消费硬件

文章概要:

1. Meta公司原AR眼镜项目负责人aitlin Kalinowski宣布加入OpenAI负责机器人和消费类硬件的开发。
2. OpenAI开始为一个机器人招聘研究工程师,旨在帮助OpenAI的合作伙伴将其多模式人工智能融入到硬件中。
3. 亚马逊宣布在亚利桑那州凤凰城部分地区启动无人机配送服务,适用于5磅(约2.27公斤)以下的商品,包括家庭用品、办公用品等。
4. 亚马逊正计划为Alexa推出新的AI升级版本,以期实现更强大的智能交互。
5. 电影《Here》使用实时生成的人工智能面部转换技术,复现汤姆·汉克斯和罗宾·赖特60年生命历程,这是好莱坞第一部基于人工智能视觉效果的长片电影之一。
6. 美国知名AI视频生成公司Runway刚刚发布了第Alpha Turbo模型的高级相机控制功能,为人工智能生成的视频带来了新的精度。
阅读原文

AI商业洞察 | Meta前硬件主管加入OpenAI,主攻机器人和消费硬件

文章概要:

1. Meta公司原AR眼镜项目负责人Caitlin Kalinowski宣布加入OpenAI负责机器人和类硬件的开发。
2. OpenAI开始为一个机器人团队招聘研究工程师,旨在帮助OpenAI的合作伙伴将其多模式人工智能融入到硬件中。
3. 亚马逊宣布在亚利桑那州凤凰城部分地区启动无人机配送服务,适用于磅(约2.27公斤)以下的商品,包括家庭用品、办公用品等。
4. 自2014年推出以来,亚马逊语音助手Alexa已成为家庭中的常客,然而它并未实现亚马逊最初的远大目标
5. 电影《Here》使用实时生成的人工智能面部转换技术现汤姆·汉克斯和罗宾·赖特60年生命历程,这是第一部基于人工智能视觉效果的长片电影之一。
6. 美国知名AI视频生成初创公司Runway刚刚发布了第3代Alpha Turbo模型的高级相机控制功能,为人工智能生成的视频带来了的精度。
阅读原文

AI商业洞察 | Meta前硬件主管加入OpenAI,主攻机器人和消费硬件

文章概要:

1 Meta硬件主管Caitlin Kalinowski加入OpenAI,负责机器人和消费类硬件的开发。
2. OpenAI开始为一个机器人招聘研究工程师,帮助OpenAI的合作伙伴将其多模式人工智能融入到硬件中。
3. 亚马逊宣布在利那州地区启动无人机配送服务,用于磅(约2.7公斤)以下的商品
4 亚马逊正将其整合至当日达网络,降低公司的。
5 亚马逊语音助手Alexa自201年推出,已成为许多家庭中的,然而它并未实现亚马逊最初的远大目标。
6. 电影《Here》使用实时生成的人工智能面部转换技术,复现汤姆·克斯和罗宾·特0生命历程。
7. Metaphysic公司开发的通过AI模型分析面部数据,即时生成年龄的形象。
8. Runway发布AI视频生成新功能,自如运镜成为可能。br> 9.新功能,用户现在可以精确地控制相机的运动,包括平移、缩放和跟踪可调强度的。
阅读原文

中经AI商业洞察 | Meta前硬件主管加入OpenAI,主攻机器人和消费硬件

文章概要:

1. Meta前主管Caitlin Kalinowski加入OpenAI,负责机器人和消费类硬件的开发。
2. OpenAI开始为一个机器人团队招聘工程师,旨在帮助OpenAI的合作伙伴将其模式人工智能融入到硬件中。br> 3. 亚马逊宣布在亚利州凤凰城部分地区启动无人机配送服务,适用于5磅(约2.27公斤)以下的商品。
4. 亚马逊正将其无人机服务整合当日达网络,降低公司的运营。
5. 亚马逊语音Alexa成为许多家庭中的常客,然而它并未实现亚马逊最初的远大目标。
6. 电影《Here》使用实时生成的人工智能面部转换技术,复现汤姆·克斯和罗宾·赖特0年生命历程br> 7. Runway发布AI视频生成新功能自如运镜成为可能。
阅读原文

域名背后的AI帝国:DeepMind、OpenAI与XAI的传奇之旅

文章概要:

1. 20年,AlphaGo在韩国首尔以4:1战胜世界围棋冠军李世石,震惊全球,而这背后站着的是Mind——一个被谷歌(Google)收购的人工智能先锋。
2. 2020年Joshua偶然发现Project December网站,能通过AI技术逝去亲人。
3. OpenAI官网的则为openAI.chat,该域名精准地传达了openAI的核心业务——聊天机器人与自然语言处理。
4. 2015年,埃隆·马斯克与萨姆·阿尔特曼、伊利亚·苏茨克维尔共同创立了OpenAI这家非营利性的人工智能研究机构。
5. 随着OpenAI逐渐转向营利性并加强与科技巨头的合作,马斯克于2018年选择离开,并随后创办了XAI,继续他在人工智能安全与道德领域的探索。
6 XAI的域名x.ai,其中“X”代表未知、探索和突破,与马斯克在多个领域展现的创新高度契合。
阅读原文

域名背后的AI帝国:DeepMind、OpenAI与XAI的传奇之旅

文章概要:

1. DeepMind在2016战胜世界冠军李世石,使用的pmdai公司业务高度契合了专业性领先地位br>2. 20年,Joshua通过Project December的聊天机器人与逝去的女友对话,该聊天机器人基于openAI的GPT-3生成,OpenAI官网的域名openAI.chat精准传达了其核心业务。
3. OpenAI的联合创始人之一是埃隆·马斯克,他于2018离开OpenAI并创办AI,XAIx.ai契合马斯克在AI领域的探索与追求。 阅读原文

OpenAI带飞两家AI创企,先后拿下20亿估值|速递

文章概要:

1. OpenAI投资的两家AI创业公司Anysphere和Mercor均在推进超过20估值的新一轮融资
2. Anysphere主要研发了AI编码助手Cursor,目前已收到投资邀约,估值约为25亿美元。4. OpenAI的快速增长和商业化举措为其供应商和商业合作伙伴带来了可观的,并且预计趋势在未来几年持续
阅读原文

Google地位不保?OpenAI全新搜索功能能否超越谷歌

文章概要:

1. OpenAI近期推出了一项新搜索功能,嵌入在ChatGPT中,为用户提供创新的对话式搜索体验。
2. OpenAI的新功能主打对话式体验,通过将搜索与生成式AI相结合,使用户能够提出更复杂的问题并获得直接的解答,而无需在链接中反复查找。
3. 谷歌占据全球搜索市场90以上份额,其精确的算法、庞大的数据索引和丰富的广告生态系统,谷歌一直是获取的首选。
4. 尽管OpenAI的搜索功能在用户体验上展示了独特创新,但要动摇谷歌的主导地位仍面临重大挑战。
5. 业内分析,OpenAI的式搜索将为特定应用带来便利多步骤复杂问题的解答或学术研究等深度内容的查找。
阅读原文

域名背后的AI帝国:DeepMind、OpenAI与XAI的传奇之旅

文章概要:

1. 2016年,AlphaGo战胜世界围棋李世石,震惊全球,而这背后站着的DeepMind一个被谷歌(Google)收购的人工智能先锋
2. 2020年,Joshua偶然发现Project December网站,能通过AI技术重现逝去亲人,该网站的聊天机器人便是基于openAI的GPT-3生成的
3. OpenAI的联合创始人之一是埃隆·马斯克,2018年他离开OpenAI并创办了XAI,XAI的域名是x.ai,其中“”代表未知、探索和突破,与马斯克在多个领域展现的创新精神高度契合
阅读原文

OpenAI博士级别智能真的实现了!o1模型做科研真香!

文章概要:

1. OpenAI推出的1模型性能远超同类竞品,水平直逼人类博士水准,在科研应用场景中能帮助科研人员提升效率。
. 但GPT-4和o1模型的会员价格较高,人员难以承受。
3. InfinitePaper AI是针对科研人员的工具,完美接入官方正版GPT-4o和o1系列模型,稳定运行一年,高级功能,如使用最强模型o、沉浸式文献阅读、智能科研助手在线数据分析、无限使用GPT-4o和GPT-3.5等。
4. 无限次使用-4的高级会员仅需68元,永久会员仅需799元,当前活动期间再降200元
. 永久可享受所有高级会员的权益,且无论未来高级会员新功能或服务涨价,已购买的永久会员无需付费
阅读原文

Sam Altman 最新万字访谈自曝:大模型必定贬值,但不投资反而是错?

文章概要:

1. 2024年,OpenAI规划三场重要的开发者大会,分别在旧金山、伦敦和新加坡举办。欧洲站在伦敦圆满落幕,展示了OpenAI最新模型对复杂设备的实时控制能力和快速构建应用的能力。
2. OpenAI CEO山姆·阿尔特曼(Sam Altman)在大会期间接受了20VC创始人Harry Stebbings的专访,分享了他对AI发展的深刻见解,涵盖了从模型演进到企业战略的诸多关键话题。
3. 主持人询问OpenAI未来的技术路线,Sam Altman表示希望在各方面都有所突破,但目前特别注重模型的推理能力。
4. 主持人询问OpenAI是否会开发无代码工具,Sam Altman表示这个目标肯定会实现,但第一步是开发工具,提高掌握编程技能的人的生产力。
5. 主持人询问OpenAI是否会在技术栈中走多远,Sam Altman表示会尽力而为,相信可以不断提高模型的能力。
6. 主持人询问OpenAI是否会在某些领域形成碾压之势,Sam Altman表示使用AI来构建以前很难或不可能实现的产品和服务将创造数万亿美元的新市场价值。
7. 主持人询问Sam Altman对软银集团孙正义关于超级人工智能每年能够产生9万亿美元价值的预测的,Sam Altman表示即使能达到这个预测值的一个零头,也已经是非常了不起的成就了。
8. 主持人询问Sam Altman对智能体的定义,Sam Altman表示AI智能体就是能够接受长期任务,且在执行过程中几乎不需要督导的存在。
9. 主持人询问Sam Altman是否需要为智能体应用专门构建模型,Sam Altman表示确实需要构建大量的基础设施和框架支持,但o1已经为>10. 主持人询问Sam Altman模型贬值的看法,Sam Altman表示模型确实是会贬值的资产,但并非不值得投入。
11. 主持人询问Sam Altman对OpenAI模型未来差异化发展的看法,Sam Altman表示推理能力是目前最关注的核心领域。
12. 主持人询问Sam Altman如何看待推理能力在多模态领域的应用,Sam Altman表示希望这会是一个水到渠成的过程。
13. 主持人询问Sam Altman如何在核心推理能力上取得突破,Sam Altman表示需要不断探索新的和未经证实的领域。
14. 主持人询问Sam Altman对人才的看法,Sam Alt表示需要在任何年龄坚持极高的人才标准。
15. 主持人询问Sam Altman对Anthropic的模型在编程任务上有时表现更出色的看法,Sam Altman表示这是非常令人印象深刻的工作。
16. 主持人询问Sam Alt对扩展定律(Scaling Law)还能在多少次模型迭代中保持有效的看法,Sam Altman表示在不透露具体细节的情况下,他相信答案是肯定的,而且这种趋势会持续相当长的时间。
17. 主持人询问Sam Altman对半导体供应链的担忧程度,Sam Altman表示这不是他最担心的问题,但确实位列所有忧虑的前10%。
18. 主持人询问Sam Altman最担心的是什么,Sam Altman表示是整个领域所做的事情的总体复杂性。
19. 主持人询问Sam Altman对OpenAI五年和十年内的愿景,Sam Altman表示如果他们的判断是正确的,五年后,技术本身会以不可思议的速度进步,而社会本身的变化程度可能小得惊人。
阅读原文

2万字全文|黄仁勋专访:OpenAI在大模型混战中达到“逃逸速度”

文章概要:

1. Nvidia的竞争优势和护城河:全栈dominance、专注于整个AI飞轮、超越FLOPS、架构兼容性。
2. AI的现状和未来:指数级增长、的格局、推理的兴起、视频和多模态模型、AGI即将到来。
3. Nvidia的战略和商业模式:市场创造者,而非市场份额掠夺者、年度平台革新、生态系统整合、应对定制ASIC、长期合作伙伴关系。
4. OpenAI和更广泛的AI生态系统:OpenAI的重要性、模型商品化和整合、开源的作用。
5. 工作的未来和AI的影响:提高生产力、AI作为合作伙伴,而非替代者。
阅读原文

重磅!OpenAI差点把它命名为GPT-5,Sam Altman首次披露背后真相。

文章概要:

1. OpenAI差点将o1模型命名为GPT-5,Sam Altman首次揭开背后真相
2. OpenAI最终选择将其命名为o1,因为这是一个全新的开始
3. Altman将o1形容为仍处在GPT-2阶段的推理能力,但这可能预示着更令人震撼的即将到来
4. Altman认为AGI这个词已经失去了原有的意义,人们为它赋予了太多不同的定义
5. Altman预测到2029年,AI的进步将再次颠覆的想象
6. OpenAI获得66的,估值飙升至1570亿美元,正在加速推进前沿AI
阅读原文

OpenAI o1强推理能提升安全性?长对话诱导干翻o1

文章概要:

1. 本文主要介绍了上海交大和上海人工智能实验室的一篇论文,该论文揭示了AI大模型多轮下的安全风险,并开源了第一个多轮对齐数据集。
2. 论文中通过一个例子说明,坏人可以通过多轮对话诱导AI提供有害信息,如制作炸弹的知识。
3. 研究人员设计了多轮攻击算法ActorAttack,在Harmbench上对o1的攻击成功率达到了%。<>4. ActorAttack的核心思想是受拉图尔的“行动者-网络理论”启发,通过将有害意图隐藏网络节点的“无害”询问中,可以逐渐诱导模型越狱。
5. 研究人员基于ActorAttack开源了第一个多轮对话安全对齐数据集,使用多轮对话数据集微调的AI,极大提升了应对多轮攻击的鲁棒性。
阅读原文

OpenAI重拾规则系统,用「AI版机器人定律」守护大模型安全

文章概要:

1. OpenAI安全团队发布新研究成果,发现基于规则的奖励可用于提升语言模型的安全性,该成果基于RLHF和RLAIF研究成果,提出了全新的AI反馈方法,可让人类来指定所需模型响应的规范,这些规范就类似于在RLHF中给人类标注者提供的指示。
2. 该团队的方法是将期望行为分解成一些具体规则,这些规则显式地描述了人们想要或不想要的行为,为了纳入对复杂行为的考虑,该团队还将LLM分类器与单个行为组合到了一起。
3 不同于之前的AI和人类反馈方法,该团队的做法是直接将此反馈作为额外奖励纳入RL训练过程中,从而可避免在将规则蒸馏到奖励模型时可能发生的行为规范丢失问题。
4. OpenAI这项研究的贡献包括:提出了一种可扩展且灵活的方法:基于规则的奖励(RBR),如果有明确指定的模型行为策略,该方法可对模型响应进行细粒度的控制。
5. 该团队通过实验表明,RBR得到的安全性能与人类反馈基准相当,同时还能大幅减少拒绝安全提示词的情况。
6. 研究表明RBR适用于多种奖励模型,既能改善过度谨慎的奖励模型,也能改进(有时候)偏好不安全输出的奖励模型。
7. 该团队也进行了消融研究,实验了不同的设计选择,比如多种不同的安全提示集数量和组成。
阅读原文