今日AI-大模型-2024年10月1日

发现全网最新的AI内容

解读大脑思维的金钥匙:哈工大在NeurIPS 2024发表脑电图大模型(EEGPT)

文章概要:

1. 哈工大在NeurIPS 2024发表脑电图大模型(EEGPT),该模型拥有超过1000万个参数,通过自监督技术对800多万脑电数据进行了充分学习,具备了脑电深度精准解码的能力。
2. EEGPT大模型的问世,可以有力支撑脑科学与类脑技术研究,为实现脑接口(BCI)、脑机协同、意识解码、认知规律探索和疾病诊断等提供了强有力的技术。
3. EEGPT的能力特点包括深度精确解码电跨时间和跨个体、设备普适性、多任务能力。
4. EEGPT的独特设计包括自监督学习、时空特征优化、分层、多任务训练。br>5.EGPT在多个下游任务上进行了广泛的实验验证,包括运动想象分类、相关电位检测和睡眠阶段检测等
. EEGPT多种下游任务中展现出的性能明显优于基线模型。
阅读原文

邹其昌 || 大模型与中国自主人工智能设计治理理论体系建构——中国当代设计学体系建构研究系列

文章概要:

阅读原文

30000亿,地方国资带着“大模型订单”来了

文章概要:

1. 2024年中国大模型市场招投标活跃,1-8月中标项目超400个,金额3.9亿,央国企采购招标数量持续上涨。
2. 国内头部科技公司加快大模型落地应用布局,ToB和ToC方向选择充满争议。
3. 2023年以来国资委多次对中央企业发展人工智能提出要求,部分央企计划采买大模型用于产线升级改造。
4. 2024年上半年大模型技术采购需求主要集中在经济发达地区,科大讯飞成为中标数最多的市场化玩家。
5. 大模型厂商中标项目超六成来自央国企,ToG市场竞争激烈,利润有限,大模型企业面临商业化问题。
6. 地方国资成为支撑国内大模型公司成长的重要力量,多家大模型公司获得地方国资投资。
阅读原文

美国加州为何否决大模型安全法,却签署了AI透明度法?立法选择重塑人工智能和隐私制度

文章概要:

1. 加州202年立法会议的结果可能成为该州在人工智能治理和隐私领域具影响力的事件之一。
2. 加州州长加文·纽森否决了参议院《前沿人工智能模型的安全与保障创新法案》(SB 1047),这是一项备受讨论的具有里程碑意义的安全提案br> 3. 纽森通过了另一项人工智能治理法案( 2013,将无疑改变人工智能治理的格局。
4 今年,纽森桌上有多项旨在修改《加州消费者隐私法》(CCPA)的。
5. 加州隐私保护局(CPPA)希望在隐私和人工智能这两个议题上推进其监管议程
阅读原文

纯国产万卡集群炼出万亿参数大模型,被这家央企率先做到了!

文章概要:

1. 中国电信人工智能研究院(TeleAI)率先解锁首个由万卡集群训练出来的万亿参数大模型。
2. TeleAI基于天翼云自研“息壤一体化智算服务平台”和电信人工智能公司自研“星海AI平台”,实现万亿参数的常稳训练。
3. TeleAI还开源了由国产深度学习框架训练的千亿参数大模型星辰语义大模型TeleChat2-115B。
4. TeleChat2-115B在TeleChat的基础上,通过对训练数据量、数据质量和配比、模型架构等多维度的优化,取得了更进一步的效果提升。
5. 在九月份的C-Eval评测Open Access模型综合榜单中,TeleChat2-115B以86.9分的成绩,一举拿下了榜单第一。
6. TeleAI在大模型上的布局并非是一蹴而就,实则是已有很长时间的打磨。
阅读原文

开源多模态大模型黑马Molmo Al来袭!部分能力超越GPT-4o和Claude 3.5

文章概要:

1. 非营利研究机构艾伦人工智能研究所(简称 Ai2)正在推出名为“Molmo”的开源多模态语言模型,其最大的 Molmo 模型拥有 70 亿个参数,在测量理解图像、图表和文档等内容的测试,其性能优于 OpenAI 的 GPT4o。
2 与此同时,Ai2 表示,一个较小的 Molmo 模型(拥有 70 亿个参数,其性能接近 OpenAI 最先进的模型,这成就主要高效的数据收集和训练方法。> 3 Ai2 的高级研究主管 Ani Kembhavi 表示,Molmo 模型是在一个更小、更“精心策划”的数据集上训练的,该数据集仅包含 60 万张图像,具有 1 亿到 720 亿个参数。
. Ai2 通过让人类注释者在多页文本上以极其详细的方式描述模型训练数据集中的图像来实现一目标。他们要求者他们所内容,打字。然后,他们使用人工智能技术将语音转换为数据,这使得训练过程更快,降低算力需求。
5. 另一个令人印象深刻的能力是,该模型可以“指向”相关部分,这意味着它可以识别回答查询的像素来分析图像的元素。
6.与《麻省理工科技评论》分享的演示中2 研究人员在西雅图的办公室外拍了一张照片,并要求识别图像中的元素,例如躺椅。该成功地描述了图像中包含的内容,计算了躺椅的数量,并按照研究人员的要求准确地指出了图像中的其他事物。,它也并不完美。比如无法找到特定的停车场。
阅读原文

开源多模态大模型黑马Molmo Al来袭!部分能力超越GPT-4o和Claude 3.5

文章概要:

1. 非营利研究机构艾伦人工智能研究所正在推出名为“Mol”的开源多模态语言模型,其性能可与OpenAI、Google和Anthropic的顶级专有模型相媲美。
2. 最大的Molmo模型拥有720亿个参数测量理解图像、图表和文档等内容的测试中,其性能优于OpenAIGPT-4o。br>3. 一个较小的mo模型拥有7亿个参数,其性能接近OpenAI最先进的模型。
4 Molmo模型是在一个更小、更“精心”的数据集上进行训练的,该数据集仅包含6张图像,并且具有10亿到720亿个参数。
5. Molmo模型可以“指向”图像相关部分,这意味着它可以识别回答查询的像素来分析图像元素。
阅读原文

阿里云大模型,这次云栖大会又“卷”出了新高度!

文章概要:

1. 阿里云是国内最早一批对大模型技术进行布局的企业,也是业内出名的“卷王”,在2024云栖大会上又发布了通义千问大模型多项最新进展,在技术、商业、生态三方面,都取得了突破性进展。
2. 阿里云在推动大模型场景应用落地的同时,依然积极“卷”基础模型,在此次大会上,阿里云在基础模型持续丢出大招。
3 通义千问大模型的升级也让应用“全家桶”的功能带来了全面的升级。
4. 阿里云通过AI开源社区“魔搭”来开源同时降低模型推理的成本,来进一步降低开发者使用模型、使用AI的成本。
5. 阿里通义千问只用了短短4个多月的时间,就进行了大量的升级,这是极其难能可贵。如果阿里可以一直保持如此迅猛的发展态势完全有机会冲击国产AI大模型之巅,成为新科技时代的No.1。
6. 阿里云正在以前所未有的强度投入AI技术研发和基础设施建设。如今阿里云单网络集群已拓展至十万卡级别,正在从服务器、网络、存储、容器、管理、安全等方方面面,重新打造面向未来的AI先进基础设施。
阅读原文

沈向洋:我对大模型时代的十个思考

文章概要:

1. 人类发展的历史就是技术发展的历史,过去几年,人工智能的发展给人们带来了很多震撼,如ChatGPT等。
2. 通用人工智能、大模型、深度学习的发展最重要的是算力的增长,算力越多,智能越增长。
3. 数据是人工智能的重要因素,未来需要更多的多模态数据,甚至人工合成的数据。
4. 大模型的下一章是具身,要做机器人,需要做多模态的科研工作,如多模态的理解和生成的统一。
5. 人工智能的范式转移,从原来的GPT思路,变成了今天的自主学习的道路,需要非常多的算力才行。
6. 大模型横扫千行百业,所有的公司都要面对大模型带来的机会,未来通用大模型的数量、占比会越来越低。
7. 大模型最大的超级应用是超级Agent,它要了解工作流,把事情,有意义。
8. 开源和闭源,开源系统的能力是直逼闭源系统,在用开源系统的时候,也要下定决心真正理解大模型的系统闭源的工作。
9. 要重视AI治理,人工智能对行百、对整个社会的冲击非常大,整个世界的发展实际上是要大家共同来面对AI治理的。
10. 重新思考人机关系,真正把人机交互搞清楚,才能每一代高科技企业真正有商业价值的领导者。
11. 智能的本质,今天虽然大模型已经给大家带来很多的震惊,但是我们对大模型、深度学习的理解暂时是没有理论的。
阅读原文

浅谈大模型背后的技术

文章概要:

1. 自202年起,AI技术我们的视野,大模型正逐步渗透到。
2. 大模型拥有海量的深度学习模型,深度学习本质上是数学理论的一种实践应用。4. 大模型能够汲取互联网上的海量知识,不断提升自身性能,未来的AI技术将会为我们带来更多惊喜和。
阅读原文

大模型是不是越大越好

文章概要:

1. 传统的 scaling law(扩展法则)长期以来推崇着“越大越好”的理念,规模的扩展总能带来模型性能的提升。
2. 有一位学者向作者请教,如何解决大模型中的“幻觉”问题。
3. “幻觉”可以被理解为模型产生的错误输出或不符合预期的。5. 压缩率的概念恰好能够捕捉到这一现象。因此,简单地追求【更大】的模型规模,并不能一概而论地带来的结果。的优化需要在规模p、有效数据量d损失l之间取得平衡。
阅读原文

30000亿,地方国资带着“大模型订单”来了

文章概要:

该文章是关于微信介绍。
阅读原文

聚焦开源大模型前沿应用,GOSIM CHINA 2024《AI 模型与基础模型》专题论坛重磅揭晓!

文章概要:

1. 10月17-18日,由GOSIM开源创新汇主办、CSDN承办的GOSIM CHINA 2024将在北京盛大启幕,本次活动邀请了60多位国际开源专家,汇聚了来自全球百余家顶尖科技企业、知名高校及开源社区的技术大咖、项目负责人和生态领袖
2. GOSIM CHINA 2024以国际化、社区化、强互动为特色,主题围绕AI模型与基础设施、具身智能、下一代互联网、下一代媒体、Rust编程语言、App开发等6大热点技术,共组织了2场Keynote、6大主题论坛、6场workshop、2场黑客马拉松大赛
3. 随着大模型和生成式AI的发展,算力、算法平台、数据也都面向全新需求。AI模型与基础设施的发展正经历着前所未有的变革。为了深入交流和探讨推动AI发展最新技术的发展现状,《AI模型与基础设施》专题邀请了潞晨科技创始人兼董事长、新加坡国立大学计算机系校长青年教授尤洋、CodeGeeX团队技术负责人郑勤锴、vLLM核心贡献者游凯超、英特尔软件与先进技术事业部高级软件工程师Huailong Zhang等13位技术专家与核心贡献者,以塑造人工智能未来为主题进行主题演讲
4. 《AI模型与基础设施》专场,精彩议题包括核心作用、边缘设备的AI方案 、透明与创新、大规模训练框架、微调与定制 、垂直领域的AI变革等
5. AI模型与基础设施,塑造未来的开源力量,包括OPEN-SORA、百变大模型高效训练框架LLaMA Factory、CodeGeeX4、基于LLM的AI应用工作流编排系统、Functionary、元象大模型的实践探索、vLLM、AutoGen、FlagOpen中Aquila系列中英双语大模型的构建与开源、用MoFA编织您的AI应用、internLM、OpenMind应用程序支持套件、迈向实用化多模态大模型等
6. 10月17-18日,GOSIM CHINA 2024(北京站)1000+一线开源开发者,60+海内外资深专家,6场主题技术论坛100+优质内容,2场黑客松大赛,大咖云集,精彩纷呈,期待您的加入
阅读原文

字节跳动豆包大模型震撼登场:AI视频创作进入全新时代!

文章概要:

1. 字节跳动豆包大模型发布多款新品,包括视频生成、音乐生成以及同声传译大模型。
2. 豆包视频生成模型有PixelDance和Seaweed两个版本,目前尚不清楚两个版本的具体区别,目前均未开放。
3. PixelDance V1.4是ByteDance Research团队开发的DiT结构的视频生成大模型支持文生视频和图生,能够一次性生成长达10秒的视频片段。
4. 豆包视频生成模型可以遵从复杂的用户提示词,精确理解语义关系,解锁时序性多拍动作指令与多个主体间的交互能力。
5. 豆包视频生成模型可以让视频在主体的镜头中切换,变焦、环绕、平摇、缩放、跟随等多镜头语言,灵活控制视角,带来真实世界的体验。<> 6. 一致性多镜头生成是豆包视频模型的一项特色能力。在提示词内,实现多个切换,同时保持主体、风格和氛围的一致性。
7. 豆包视频生成模型支持丰富多样的题材类型,以及包括黑白3D、2D动画、国画、、水粉等多种风格。同时,模型涵盖1:1、3:4、4:3、16:、9:16、21:9 六个比例,充分适配电影、电视、电脑、手机等多种场景。
8. 豆包音乐模型实现了音乐生成通用框架,从词曲唱三个方面高质量音乐。
阅读原文

【合作转发】如何入局端侧 AI 新赛道,这场端侧大模型技术论坛不容错过!

文章概要:

1. 历经2023年的「百模大战」,AI正在各行业领域沉淀、落地。科技巨头们的比拼焦点正在从把模型越做越大,转向端侧大模型的研发与应用。
2. 对于企业来说,如何抓住端侧模型的热潮深入挖掘其在各行业应用潜力,将其与自身业务紧密,催生新的增长,不仅是一个战略机遇,企业管理者深思熟虑的问题。
3. 由机器之心世界人工智能大会组委会办公室精心策划「端侧AI大模型开发与应用实践」技术论坛,将于10月26日在上海举办
4 论坛亮点:技术研讨、案例驱动学习、手把手实操教程、互动式现场。
5 适合参会人群:职场人士、企业家、研究员/学生。
阅读原文

一文剖析AI大模型技术架构的全景视图:从基础实施层、云原生层、模型层、应用技术层、能力层、到应用层

文章概要:

1. AI大模型技术架构全景图包括基础实施层、原生层、模型层、应用技术层、能力层、应用层
2. 基础设施层涵盖GPU、CPU、RAM、HDD、等关键硬件设施。
3. 云原生层基于Docker容器和K8S的弹性云,为AI大模型的预训练、、推理以及应用的部署,提供了高扩展、高可用的环境。
4. 模型层主要由大语言模型、视觉-语言模型、模型等构成。
5. 应用技术层包括Agent技术、RAG技术、大模型微调、提示词工程、链技术、数据工程技术。
6. 能力层包括大模型的理解能力、记忆能力、逻辑能力、生成能力。
7. 应用层主要分为RAG类应用、Agent类应用、OLTAP类应用、OLAP类应用。
阅读原文

我没有大模型经验,可以给个机会吗?

文章概要:

1. 作者做大模型一年半,经历了无数场面试,很多候选人没有大模型经验,得到机会。
2. 作者认为大部分人的大模型经验没有意义,只有头部大模型公司的核心骨干的经验才有意义。
3. 平平无奇的模型经验反而是扣分项,例如不知道DP、MFU、Megatron启动的命令行参数含义等。
4. 除了经验和论文,还能看潜力,潜力可以换成基础和好奇心。
5. 基础包括学习能力专业知识、代码能力等,好奇心包括对大模型的了解、主动学习的意愿等。
6. 最后,作者介绍了一些比大模型训练经验和论文更加分的经历的具体例子。
阅读原文

当地球上最赚的AI公司钱也不够花,OpenAI决心“营利”

文章概要:

1. OpenAI 高管团队今年以来已十余人,初创团队几乎所剩无几。
2. OpenAI 的盈利能力已经算得上表现最佳,但预计今年将亏损约5亿美元。
3. OpenAI 为了应对资源与投入越来越庞大的挑战,在201年设立“利润上限”公司结构。
4. Open 为了有更多的空间以更高的利率与新投资者进行谈判,改变自身复杂的非营利结构,转向营利型企业几乎已成必然。
5. OpenAI 的融资不缺投资人,但如果公司需要不断吸引资本注入以维持运营,那么 OpenAI 无论是在面对未来的财务问题,还是平衡技术发展与人类安全,都会受到制约。
阅读原文

量子位智库:AI大模型创业格局报告

文章概要:

1. 2022年11月ChatGPT发布,引爆国内大战,创业玩家如雨后春笋,互联网巨头也纷纷下场,巅峰时期国内公开大模型数量超越300个。
2. 如今一年半过去,巨头们依托固有业务,更早形成壁垒,率先晋级。而创业玩家这边,胜局也已锁定,大模型创业第一梯队已经形成,目前或许只有少数几家公司拿到了和巨头的门票。
3. 他们分别是创业六小强一一智谱Al、MiniMax、阶跃星辰、百川智能、月之暗面和零一万物,这六家公司背后都转起了一个关键飞轮一一模型、应用和融资,这使得他们能够与巨头同场竞技。另外这一赛道上还有两位值得特别关注的玩家一一面壁智能和DeepSeeko。
4. 他们共同组成国内大模型创业玩家“6+2”格局许多人认为,继移动互联网之后的AI时代,新的巨头或将从这八家公司中诞生。br> 5. 而放眼全球,大行业同样存在类似的阶段性竞争,像曾经的移动互联网时代一样,中美再次在两个“平行宇宙”中上演新的历史进程。
6. 在本篇报告中,量子位智库将以一个逐步放大的视角,从国内创业玩家“6+2”格局、国内玩家格局、海外玩家格局三个层次,力求为读者描绘大模型行业格局完整画卷。
阅读原文