“读懂地图”的多模态大模型MapReader
文章概要：
1. 成果负责人为中国地质武汉地理与信息教授禹文豪，主要从事地图综合、空间数据挖掘及模型等研究。
2. 系统演示链接为https://www.bilibili.com/video/BV1dpszeoEew。
3的视觉参数规模为7 Trans预训练的大型语言模型构成。为使模型适应地图领域，收集了2000对高质量对进行微调。训练策略采用了LoRA，将LoRA应用于ViT和LLMMapReader处理的最大目标长度为048tokens。
阅读原文
2. 系统演示链接为https://www.bilibili.com/video/BV1dpszeoEew。
3的视觉参数规模为7 Trans预训练的大型语言模型构成。为使模型适应地图领域，收集了2000对高质量对进行微调。训练策略采用了LoRA，将LoRA应用于ViT和LLMMapReader处理的最大目标长度为048tokens。
AI大语言模型GPT-4展现结构生物学建模能力
文章概要：
1. 罗格斯大学的研究揭示了GPT-4可进行初步的结构建模，为该领域带来新可能。br> 2. 结构生物学关注生物大分子三维结构，传统上依赖实验和计算工具，而语言生成式AI在科学研究中应用渐广。
3. 研究团队通过三个任务测试GPT4的结构生物学能力，包括建模20标准氨基酸的3D结构、建模α-螺旋多肽链结构、分析药物与蛋白质的结构相互作用。
4. GPT-4生成20种标准氨基酸的3D结构，链键长键准确性较高，侧链键长和键角大部分在参考值范围内，表现优于GPT-3.5。
5.PT-4成功生成10个残基长的α-螺旋结构，与实验参考结构相似度较高。
6. GPT4成功完成药物-蛋白质相互作用分析任务，包括识别配体、列出相互作用氨基酸残基提供相互作用对距离、可能干扰配体结合的突变。
7. 研究表明GPT-4在生物学建模有潜力也存在局限性，氨基酸立体化学构型和环状结构准确性有待提高，α-螺旋需要多次尝试和。
8 未来研究方向探索GPT-4在更蛋白质结构中的潜力，将其专门结构生物学工具结合，利用其自然语言处理能力更直观的工具。
阅读原文
3. 研究团队通过三个任务测试GPT4的结构生物学能力，包括建模20标准氨基酸的3D结构、建模α-螺旋多肽链结构、分析药物与蛋白质的结构相互作用。
4. GPT-4生成20种标准氨基酸的3D结构，链键长键准确性较高，侧链键长和键角大部分在参考值范围内，表现优于GPT-3.5。
5.PT-4成功生成10个残基长的α-螺旋结构，与实验参考结构相似度较高。
6. GPT4成功完成药物-蛋白质相互作用分析任务，包括识别配体、列出相互作用氨基酸残基提供相互作用对距离、可能干扰配体结合的突变。
7. 研究表明GPT-4在生物学建模有潜力也存在局限性，氨基酸立体化学构型和环状结构准确性有待提高，α-螺旋需要多次尝试和。
8 未来研究方向探索GPT-4在更蛋白质结构中的潜力，将其专门结构生物学工具结合，利用其自然语言处理能力更直观的工具。
OpenAIo1炸场，价格战未停，AI大模型五大内幕 | 年中盘点
文章概要：
1. 2024年大模型行业大起大落，模型层突破未达预期，应用层陷入价格战，视频模型成为亮点，机器人被热捧。
2. OpenAI发布o1模型，具有推理能力，能通过推理过程分析问题，模型推理时间越久处理复杂问题能力越强。
3. 视频模型能力升级，可生成连贯视频，广泛应用于电商、短剧、电影等行业。
4. 价格战激烈，大厂将Token价格打到负毛利，大模型竞争进入淘汰赛。
5. 大模型商业化进程提速，C端处于探索阶段，B端是重心，百度、科大讯飞、智谱AI中标数量领跑。
6. 具身智能是今年最热闹的成为焦点，但落地困难。
阅读原文
2. OpenAI发布o1模型，具有推理能力，能通过推理过程分析问题，模型推理时间越久处理复杂问题能力越强。
3. 视频模型能力升级，可生成连贯视频，广泛应用于电商、短剧、电影等行业。
4. 价格战激烈，大厂将Token价格打到负毛利，大模型竞争进入淘汰赛。
5. 大模型商业化进程提速，C端处于探索阶段，B端是重心，百度、科大讯飞、智谱AI中标数量领跑。
6. 具身智能是今年最热闹的成为焦点，但落地困难。
OpenAIo1炸场，价格战未停，AI大模型五大内幕 | 年中盘点
文章概要：
1. 2024年大模型行业大起大落，模型层突破迟迟未至，应用层陷入价格战，视频模型成为亮点，机器人被热捧。
2. OpenAI发布o1，号称首个具有“推理”能力的大模型，能通过推理过程逐步分析问题，直至得出正确结论br> 3. 视频模型成为AI的主战场，能力升级，从曾经的PPT动画，到如今可以基于提示词，生成4s-16s连贯视频，生成过程中可以保持人物一致性、场景一致性、风格一致性，可以进行镜头控制、运动控制。
4. 价格战打到负毛利，大厂还不收手，Token价格从2元、1元、0.8元、0.5元跌到免费。
5. 大模型商业化进程提速，C端商业化处于探索阶段，B端是大模型商业化的重心，教科、金融、能源、政务成为重点领域，采购方主要为央国企、政府部门和科研院所，以项目招标为主。
6. 机器人成为大模型应用的焦点，人形机器人热度虽高，落地依然困难。
阅读原文
2. OpenAI发布o1，号称首个具有“推理”能力的大模型，能通过推理过程逐步分析问题，直至得出正确结论br> 3. 视频模型成为AI的主战场，能力升级，从曾经的PPT动画，到如今可以基于提示词，生成4s-16s连贯视频，生成过程中可以保持人物一致性、场景一致性、风格一致性，可以进行镜头控制、运动控制。
4. 价格战打到负毛利，大厂还不收手，Token价格从2元、1元、0.8元、0.5元跌到免费。
5. 大模型商业化进程提速，C端商业化处于探索阶段，B端是大模型商业化的重心，教科、金融、能源、政务成为重点领域，采购方主要为央国企、政府部门和科研院所，以项目招标为主。
6. 机器人成为大模型应用的焦点，人形机器人热度虽高，落地依然困难。
OpenAIo1炸场，价格战未停，AI大模型五大内幕 | 年中盘点
文章概要：
1. 2024年大模型行业开始大起大落，模型层突破迟迟未至，应用层陷入价格战，视频模型成为难得亮点，机器人被热捧。
2. OpenAIo1的发布有“挽狂澜于既倾”的效果，它拥有真正的通用推理能力，不用专门训练就能直接拿到数学奥赛金牌，甚至能在博士级问答环节上超越人类专家。
3. 视频生成模型成为AI的主战场，经过半年迭代，视频模型的能力升级，从曾经的PPT动画，到如今可以基于提示词，生成4s-16s连贯视频，生成过程中可以保持人物一致性、场景一致性、风格一致性，可以进行镜头控制、运动控制。
4. 大模型最激进的战场，当属价格战，从4月各个云厂商的春季峰会开始，字节高调“起头”，阿里“击穿底价”，百度直接“掀桌子”……不到一周时间，大模型厂商针尖对麦芒，每百万token的输入价格，先后从2元、1元、0.8元、0.5元跌到免费。
5. 大模型公司在部分标杆项目的争夺中“短兵相接”，在岚图汽车科技有限公司的AI大模型应用项目中，智谱AI报价约为348.81万元，腾讯云报价1334.10万元，科大讯飞报价758.96万元，智中标。
6. 今年最热闹的大模型应用，当属具身智能，在7月5日的2024年世界人工智能大会，一进世博展览馆的正门，18款列队站好的人形机器人向游客招手。
阅读原文
2. OpenAIo1的发布有“挽狂澜于既倾”的效果，它拥有真正的通用推理能力，不用专门训练就能直接拿到数学奥赛金牌，甚至能在博士级问答环节上超越人类专家。
3. 视频生成模型成为AI的主战场，经过半年迭代，视频模型的能力升级，从曾经的PPT动画，到如今可以基于提示词，生成4s-16s连贯视频，生成过程中可以保持人物一致性、场景一致性、风格一致性，可以进行镜头控制、运动控制。
4. 大模型最激进的战场，当属价格战，从4月各个云厂商的春季峰会开始，字节高调“起头”，阿里“击穿底价”，百度直接“掀桌子”……不到一周时间，大模型厂商针尖对麦芒，每百万token的输入价格，先后从2元、1元、0.8元、0.5元跌到免费。
5. 大模型公司在部分标杆项目的争夺中“短兵相接”，在岚图汽车科技有限公司的AI大模型应用项目中，智谱AI报价约为348.81万元，腾讯云报价1334.10万元，科大讯飞报价758.96万元，智中标。
6. 今年最热闹的大模型应用，当属具身智能，在7月5日的2024年世界人工智能大会，一进世博展览馆的正门，18款列队站好的人形机器人向游客招手。
OpenAIo1炸场，价格战未停，AI大模型五大内幕 | 年中盘点
文章概要：
1. 2024年大模型行业开始大起大落，模型层突破迟迟未至，应用层陷入价格战，视频模型成为难得亮点，机器人被热捧。
2. OpenAIo1的发布有“挽狂澜于既倾”的效果，它拥有真正的通用推理能力，不用专门训练就能直接拿到数学奥赛金牌，甚至能在博士级别的科学问答环节上超越人类专家。
3. 视频模型的能力升级让创作者仅需三张定妆照完成一部短片，基于一张商品图，做一支广告片。视频可控性增强则让视频模型广泛应用于电商、短剧、电影等行业。
4. 大模型最激进的战场，当属价格战。大厂把Token价格打到负毛利仍然没有收手，以9月份的云栖大会为起点，大厂又开始新一轮降价。
5. 大模型公司在部分标杆项目的争夺中“短兵相接”。在岚图汽车科技有限公司的AI大模型应用项目中，智谱AI报价约为348.81万元，腾讯云报价1334.10万元，科大讯飞报价75896万元，智谱AI中标。
6. 今年最热闹的大模型应用，当属具身智能。在7月5日的2024年世界人工智能大会，一进世博展览馆的正门，18款列队站好的人形机器人向游客招手。
阅读原文
OpenAIo1炸场，价格战未停，AI大模型五大内幕 | 年中盘点
文章概要：
1. 2024年，大模型行业开始大起大落，模型层突破迟迟未至，应用层陷入价格战。
2. OpenAIo1号称首个具有“推理”能力的大模型，能通过推理过程逐步分析问题，直至得出正确结论。
3. 视频模型成为难得亮点，快手可灵AI在全球范围内一骑绝尘，美图、智谱AI、阿里云、MiniMax、生数科技等视频模型，均在运动控制、镜头控制、人物一致性方面取得长足。，手都是最吸睛的展品。
5. OpenAIo1的发布有“挽狂澜于既倾”的效果，它拥有真正的通用推理能力，不用专门训练就能直接拿到数学奥赛金牌，甚至能在博士级别的科学问答环节上超越人类专家。
阅读原文
2. OpenAIo1号称首个具有“推理”能力的大模型，能通过推理过程逐步分析问题，直至得出正确结论。
3. 视频模型成为难得亮点，快手可灵AI在全球范围内一骑绝尘，美图、智谱AI、阿里云、MiniMax、生数科技等视频模型，均在运动控制、镜头控制、人物一致性方面取得长足。，手都是最吸睛的展品。
5. OpenAIo1的发布有“挽狂澜于既倾”的效果，它拥有真正的通用推理能力，不用专门训练就能直接拿到数学奥赛金牌，甚至能在博士级别的科学问答环节上超越人类专家。
OpenAIo1炸场，价格战未停，AI大模型五大内幕 | 年中盘点
文章概要：
1. 2024年，大模型行业开始大起落，模型层突破迟迟未至，应用层陷入价格战。
2. OpenAIo1的发布，号称首个具有“推理”能力的大模型，能通过推理过程逐步分析问题，直至得出正确结论。
3. 视频模型成为难得亮点，快手可灵AI在全球范围内一骑绝尘，美图、智谱AI、阿里云、MiniMax、生数科技等视频模型，均在运动控制、镜头控制、人物一致性方面取得长足进展。
4. 机器人被热捧，在所有科技展会上，机器人、机器狗、灵巧手都是最吸睛的展品。
5. 大模型的竞争尽管还没来得及取得太多商业化成绩，但已经开始进入淘汰赛。
6. 大模型公司在部分标杆项目的争夺中“短兵相接”，百度、科大、智谱AI的中标数量领跑行业。
7. 今年最热闹的大模型应用，当属具身智能。
阅读原文
大模型论文总结-20241004期
文章概要：
1. 文章介绍了本人开发的论文总结AI Agent，并提供了项目地址。
2. 文章包含了多篇论文的总结，涵盖了人工智能、自然语言处理、医学等多个领域。
3. 文章对每篇论文的研究问题、方法、创新点和结论进行了详细的阐述。
阅读原文
2. 文章包含了多篇论文的总结，涵盖了人工智能、自然语言处理、医学等多个领域。
3. 文章对每篇论文的研究问题、方法、创新点和结论进行了详细的阐述。
如何避免大模型产生“幻觉”
文章概要：
1. 数据质量和覆盖面：确保数据高质量，减少噪音和错误信息，过滤已知错误或不可靠信息，确保训练数据涵盖广泛和领域，定期更新数据。
2 增强模型架构：引入外部知识，如知识图谱或数据库查询，引入长期机制，如记忆或其他长期记忆
4. 用户交互和界面设计：提供不确定性指示，置信度评分让模型不确定明确表示不确定性，反馈按钮，允许用户报告错误或不准确的信息。br> 5. 事实验证和后处理：使用独立的事实验证模块对回答进行和修正，使用多个模型或系统交叉验证生成的回答，维护一个动态更新的知识库，模型可以在生成回答时参考这个知识库。
6. 教育和培训：为用户提供使用指南和培训课程，帮助他们理解模型的局限性和最佳使用方法，为开发者提供指南，帮助他们在应用中有效地集成和使用大语言模型。
阅读原文
2 增强模型架构：引入外部知识，如知识图谱或数据库查询，引入长期机制，如记忆或其他长期记忆
4. 用户交互和界面设计：提供不确定性指示，置信度评分让模型不确定明确表示不确定性，反馈按钮，允许用户报告错误或不准确的信息。br> 5. 事实验证和后处理：使用独立的事实验证模块对回答进行和修正，使用多个模型或系统交叉验证生成的回答，维护一个动态更新的知识库，模型可以在生成回答时参考这个知识库。
6. 教育和培训：为用户提供使用指南和培训课程，帮助他们理解模型的局限性和最佳使用方法，为开发者提供指南，帮助他们在应用中有效地集成和使用大语言模型。
两张架构图，让你感受一下大模型的惊艳
文章概要：
1 该网页文章主要讲述了微信公众平台的相关内容。
阅读原文
30000亿，地方国资带着“大模型订单”来了
文章概要：
1. 2024年1-8月，国内大模型中标项目公告超过400个，远超2023全年水平，其中央国企相关采购招标数量持续上涨，金额占比约40%，应用类项目数量占比高达70%左右。
2. 央国企采买大模型的原因是其作为国民经济的主体、国家科技创新的主力军、维护国家安全的核心，承担着统筹推进传统产业升级、新兴产业壮大、未来产业培育的战略任务。
3. 2024年上半年的大模型技术采购需求主要集中在经济发达地区，如北京、广东、、江苏和浙江。其中，贵州东数西算大模型建设工程项目以1.76736亿元的中标金额脱颖而出，成为金额最高的项目。
4. 从公开消息看，科大讯飞成为上半年大模型中标数最多的市场化玩家，而后7-8月份又分别中标项目112个和127个，且8月份单月中标金额突破1.5个亿，行业排名第一。
5. 大模型企业的中标项目中有超过六成都来自央国企，ToG市场竞争激烈，利润有限，政府和企业更倾向于整体解决方案。
6. 大模型“贵”众所皆知，数千万元一次的训练成本注定了这是少数人的游戏。“大模型投不起，小模型看不到赚钱能力”这也是投资圈对当下大模型现状的共识，叠加当前美元基金的黄金时代落幕，整个资本市场下行，VC愈发谨慎，天量融资越来越难。
7. 地方国资成为支撑国内大模型公司成长的重要力量，如中关村科学城以投前200亿估值领投智谱AI新一轮融资，北京市人工智能产业投资基金亦在今年初参与了对智谱的投资，而且自2023年年底成立以来，北京市人工智能产业投资基金至少已投资谱、面壁智能、瑞莱智慧、生数科技、深势科技、百川智能等6家大模型公司。
阅读原文
2. 央国企采买大模型的原因是其作为国民经济的主体、国家科技创新的主力军、维护国家安全的核心，承担着统筹推进传统产业升级、新兴产业壮大、未来产业培育的战略任务。
3. 2024年上半年的大模型技术采购需求主要集中在经济发达地区，如北京、广东、、江苏和浙江。其中，贵州东数西算大模型建设工程项目以1.76736亿元的中标金额脱颖而出，成为金额最高的项目。
4. 从公开消息看，科大讯飞成为上半年大模型中标数最多的市场化玩家，而后7-8月份又分别中标项目112个和127个，且8月份单月中标金额突破1.5个亿，行业排名第一。
5. 大模型企业的中标项目中有超过六成都来自央国企，ToG市场竞争激烈，利润有限，政府和企业更倾向于整体解决方案。
6. 大模型“贵”众所皆知，数千万元一次的训练成本注定了这是少数人的游戏。“大模型投不起，小模型看不到赚钱能力”这也是投资圈对当下大模型现状的共识，叠加当前美元基金的黄金时代落幕，整个资本市场下行，VC愈发谨慎，天量融资越来越难。
7. 地方国资成为支撑国内大模型公司成长的重要力量，如中关村科学城以投前200亿估值领投智谱AI新一轮融资，北京市人工智能产业投资基金亦在今年初参与了对智谱的投资，而且自2023年年底成立以来，北京市人工智能产业投资基金至少已投资谱、面壁智能、瑞莱智慧、生数科技、深势科技、百川智能等6家大模型公司。
两万字实录：大语言模型、提示学习与未来科技研发的交汇点丨GAIR Live
文章概要：
1. 大模型和提示学习的技术、应用方法与优劣势。
2. 实际应用案例、数据安全与隐私保护。
3. 大模型的商业价值与社会职场影响。
4. Q&A
阅读原文
2. 实际应用案例、数据安全与隐私保护。
3. 大模型的商业价值与社会职场影响。
4. Q&A
首个Mamba+Transformer多模态大模型
文章概要：
1. 首个Mamba+Transformer多模态大模型LongLLaVA在长上下文多理解方面表现出色，作者来自香港中文大学深圳和深圳大数据研究院，通讯作者为香港中文大学深圳数据学院王本友教授。
2. 扩展多模态大语言模型的长上下文能力对于视频理解、高分辨率图像理解以及多模态智能体至关重要，该团队将模型架构调整为Mamba和Transformer块的混合体，在数据构建中考虑多个图像之间的时间和空间依赖性，并渐进式训练策略，提出了首个混合架构多模态大语言模型LongLLaVA，在效率和性能之间实现了更好的平衡。
3. LongLLaVA在各种基准测试中取得了有竞争力的结果，还保持了高吞吐量和显存消耗，其可以在单个A100 80GB GPU上处理近千张展现出了广阔的应用前景。
4. 该研究提出了LongLLaVA系统解决方案，采用混合架构进行加速，该解决方案在三个维度上进行了全面优化：多模态架构、数据和训练策略。
5. 为了解决上述挑战并提高模型对长文本和多图像场景的适应性，团队从三个角度进行了改进：多模态模型架构，数据构造和训练策略。
6. LongLLaVA在MileBench上表现出色，甚至超过了闭源模型Claude-3-Opus，尤其在检索任务方面表现出色，在涉及中等至长视频的任务中表现出色，超越了传统的视频模型。
7. LongLLaVA在跨语境检索、排序和技术能力等任务中的表现与领先的闭模型相当，甚至在某些方面超过了GPT-4V。
8. 使用具有相同数据的混合LLM架构，在评估集中都观察到了显著的改进，证明了其多模态场景中的潜力。
9. 随着可处理图像数量增加，模型能够支持更多图像块以进行高分辨率图像理解，以及使用更多视频帧进行视频理解。
10 模型在1000张图像集上实现了近100%的检索准确率，而无需额外的训练。
阅读原文
2. 扩展多模态大语言模型的长上下文能力对于视频理解、高分辨率图像理解以及多模态智能体至关重要，该团队将模型架构调整为Mamba和Transformer块的混合体，在数据构建中考虑多个图像之间的时间和空间依赖性，并渐进式训练策略，提出了首个混合架构多模态大语言模型LongLLaVA，在效率和性能之间实现了更好的平衡。
3. LongLLaVA在各种基准测试中取得了有竞争力的结果，还保持了高吞吐量和显存消耗，其可以在单个A100 80GB GPU上处理近千张展现出了广阔的应用前景。
4. 该研究提出了LongLLaVA系统解决方案，采用混合架构进行加速，该解决方案在三个维度上进行了全面优化：多模态架构、数据和训练策略。
5. 为了解决上述挑战并提高模型对长文本和多图像场景的适应性，团队从三个角度进行了改进：多模态模型架构，数据构造和训练策略。
6. LongLLaVA在MileBench上表现出色，甚至超过了闭源模型Claude-3-Opus，尤其在检索任务方面表现出色，在涉及中等至长视频的任务中表现出色，超越了传统的视频模型。
7. LongLLaVA在跨语境检索、排序和技术能力等任务中的表现与领先的闭模型相当，甚至在某些方面超过了GPT-4V。
8. 使用具有相同数据的混合LLM架构，在评估集中都观察到了显著的改进，证明了其多模态场景中的潜力。
9. 随着可处理图像数量增加，模型能够支持更多图像块以进行高分辨率图像理解，以及使用更多视频帧进行视频理解。
10 模型在1000张图像集上实现了近100%的检索准确率，而无需额外的训练。
研究人员揭示大模型指令微调“新秘密”，助力大模型的高效、低成本定制
文章概要：
1. 2020年OpenAI在具有1750亿参数量的GPT-3上发现，大模型可以根据提示词中提供的信息，来执行新任务或改进现有任务
2. 目前开源社区已经迎来含有4000亿参数的模型，通过梯度更新来直接修改模型权重的微调方法，将变得十分昂贵且耗时
3. 目前大模型可容纳的上下文长度正在不断，能否使用成本更低、更管理的上下文学习来代替现有的成本高昂的模型参数微调方法成为一个亟待解决的研究课题
4. 瑞士洛桑联邦理工学院毕业生赵皓和所在团队开展了一项研究，相关论文发表于ICML 2024，也帮助赵皓了EPFL优秀硕士论文奖的提名
5. 他们研究发现仅通过增加上下文学习中的训练数据，无法获得匹配相同基础模型OpenAI官方所发布对齐模型的表现
6. 他们在实验中得出结论：在低数据量的情况下，上下文学习可以更低的成本可靠有效地代替指令微调，但是指令微调可以通过不断扩大高质量训练获得更显著的对齐表现提升，并且拥有更强的泛化表现
7研究将能指导人们以成本、更高效地定制专门化的大模型
8相关论文已经整理并投稿到机器学习顶级会议，研究团队也将思考如何进一步有效提升上下文学习的对齐表现
阅读原文
2. 目前开源社区已经迎来含有4000亿参数的模型，通过梯度更新来直接修改模型权重的微调方法，将变得十分昂贵且耗时
3. 目前大模型可容纳的上下文长度正在不断，能否使用成本更低、更管理的上下文学习来代替现有的成本高昂的模型参数微调方法成为一个亟待解决的研究课题
4. 瑞士洛桑联邦理工学院毕业生赵皓和所在团队开展了一项研究，相关论文发表于ICML 2024，也帮助赵皓了EPFL优秀硕士论文奖的提名
5. 他们研究发现仅通过增加上下文学习中的训练数据，无法获得匹配相同基础模型OpenAI官方所发布对齐模型的表现
6. 他们在实验中得出结论：在低数据量的情况下，上下文学习可以更低的成本可靠有效地代替指令微调，但是指令微调可以通过不断扩大高质量训练获得更显著的对齐表现提升，并且拥有更强的泛化表现
7研究将能指导人们以成本、更高效地定制专门化的大模型
8相关论文已经整理并投稿到机器学习顶级会议，研究团队也将思考如何进一步有效提升上下文学习的对齐表现
OpenAIo1炸场，价格战未停，AI大模型五大内幕 | 年中盘点
文章概要：
1. 2024年大模型行业开始大起大落，模型层突破迟迟未至，应用层陷入价格战，视频模型成为难得亮点，机器人被热捧。
2. OpenAIo1发布，号称首个具有“推理”能力的大模型，能通过推理过程逐步分析问题，直至得出正确结论。
3. 视频模型大混战，快手拔得头筹，视频模型的能力升级，从曾经的PPT动画，到如今可以基于提示，生成4-16s连贯视频，生成过程中可以保持人物一致性、场景一致性、风格一致性，可以进行镜头控制、运动控制。
4. 价格战打到负毛利，大厂还不收手，大模型最激进战场，当属价格战。
5. 大模型商业化进程提速，C端商业化目前处于探索阶段，B端是大模型商业化的重心，大模型公司在部分标杆的争夺中“短兵相接”。
6. 机器人花式整活儿，今年最热闹的大模型应用，当属具身智能。
阅读原文
2. OpenAIo1发布，号称首个具有“推理”能力的大模型，能通过推理过程逐步分析问题，直至得出正确结论。
3. 视频模型大混战，快手拔得头筹，视频模型的能力升级，从曾经的PPT动画，到如今可以基于提示，生成4-16s连贯视频，生成过程中可以保持人物一致性、场景一致性、风格一致性，可以进行镜头控制、运动控制。
4. 价格战打到负毛利，大厂还不收手，大模型最激进战场，当属价格战。
5. 大模型商业化进程提速，C端商业化目前处于探索阶段，B端是大模型商业化的重心，大模型公司在部分标杆的争夺中“短兵相接”。
6. 机器人花式整活儿，今年最热闹的大模型应用，当属具身智能。
大模型开发的全景解析：如何找到最适合你的平台？
文章概要：
1. 选择合适的大模型开发平台至关重要，本文将各类平台难度分为低/零代码、中级代码和高级代码平台三类，分别介绍其与劣势，并列出代表平台。
2 低/零代码开发平台主要面向技术背景较薄弱的用户可视化的操作界面，简化开发过程。中级开发平台具备一定能力的开发者，提供的和的配置选项，使用户能够更深入地定制自己的。高级开发经验丰富开发者，提供高度灵活的框架和工具，适合开发复杂的项目。br> 3 选择合适大模型平台需要明确项目需求评估平台的技术支持、试用与评估预算与成本效益分析
阅读原文
2 低/零代码开发平台主要面向技术背景较薄弱的用户可视化的操作界面，简化开发过程。中级开发平台具备一定能力的开发者，提供的和的配置选项，使用户能够更深入地定制自己的。高级开发经验丰富开发者，提供高度灵活的框架和工具，适合开发复杂的项目。br> 3 选择合适大模型平台需要明确项目需求评估平台的技术支持、试用与评估预算与成本效益分析
国内大模型有哪些，看专家怎么说。
文章概要：
1. 大模型是具有庞大参数规模和计算能力的机器学习模型，按照部署方式可分为云侧大模型端侧大模型
2. 截至243月，国产大模型已超过20个，在国家网信办成功备案的大模型已达117个
3. 国内主流的大模型包括百度的文心一言、阿里的通义千问、科大讯飞星火认知大模型等
5. 随着人工智能技术的发展，大模型展现出更强大的通用性和跨领域能力，千行业发展
阅读原文
2. 截至243月，国产大模型已超过20个，在国家网信办成功备案的大模型已达117个
3. 国内主流的大模型包括百度的文心一言、阿里的通义千问、科大讯飞星火认知大模型等
5. 随着人工智能技术的发展，大模型展现出更强大的通用性和跨领域能力，千行业发展
ai大模型有哪些，满满干货全关于它。
文章概要：
1. AI大模型主要分为深度神经网络、卷积神经网络、循环神经网络、生成对抗网络等。
2. AI大模型的特点包括大规模参数、大量数据训练、强大的能力、通用性和迁移学习。
3. AI大在自然语言处理、识别与生成等领域展现出了强大的应用潜力。
4 关于AI大模型的数据，会因不同的模型而异。
阅读原文
2. AI大模型的特点包括大规模参数、大量数据训练、强大的能力、通用性和迁移学习。
3. AI大在自然语言处理、识别与生成等领域展现出了强大的应用潜力。
4 关于AI大模型的数据，会因不同的模型而异。
文心大模型赋能商业智能助手的探索与实践
文章概要：
1. 介绍了商业信息查询的场景，包括商务合作、销售展业、成本控制、消费决策和投资理财等。
2. 讲解了如何利用文心大模型构建商业智能助手，包括检索增强技术、融合企业自建知识库与文心大模型、利用模型的代码生成能力和反思能力等。
3. 分享了文心大模型构建商业智能助手的进阶，包括图形可视化、企业风险分析等。
4. 对商业智能助手的未来进行了展望，包括在会议场景中的应用、提升工作效率等。
5. 介绍了文心大模型在爱企查中的应用效果，包括对话满意度、对话开口率、日均留资量等。
阅读原文
2. 讲解了如何利用文心大模型构建商业智能助手，包括检索增强技术、融合企业自建知识库与文心大模型、利用模型的代码生成能力和反思能力等。
3. 分享了文心大模型构建商业智能助手的进阶，包括图形可视化、企业风险分析等。
4. 对商业智能助手的未来进行了展望，包括在会议场景中的应用、提升工作效率等。
5. 介绍了文心大模型在爱企查中的应用效果，包括对话满意度、对话开口率、日均留资量等。
大模型热潮，会是一场泡沫吗？
文章概要：
1. 文章以牛顿参与南海股票投资的故事为例，指出在行业泡沫面前，无论是天才还是普通民众，都可能成为受害者。
2. 文章认为，大模型的热潮虽然有大量论文和模型作为支撑，但增长速度已经逐渐放缓，高成本和低回报的趋势已然浮现。
3. 文章指出，生成式AI每一次的产品迭代，其资本增密的速度，已经跟不上技术迭代的脚步，这也导致了部分业内人士，对生成式AI的看法逐渐变得消极。
4. 文章回顾了人工智能的发展史，指出人工智能的三次浪潮都伴随着低谷，这或许对于当下的生成式AI浪潮，也有一定指导意义。
5. 文章认为，生成式AI在诸多专业领域展现了潜力，但仍然存在幻觉问题和训练数据不足的问题。
6. 文章指出，大模型并非是一个资金进入两三年，便能“万丈高楼平地起”的行业，一个重资产、长周期的“慢行业”。
阅读原文
2. 文章认为，大模型的热潮虽然有大量论文和模型作为支撑，但增长速度已经逐渐放缓，高成本和低回报的趋势已然浮现。
3. 文章指出，生成式AI每一次的产品迭代，其资本增密的速度，已经跟不上技术迭代的脚步，这也导致了部分业内人士，对生成式AI的看法逐渐变得消极。
4. 文章回顾了人工智能的发展史，指出人工智能的三次浪潮都伴随着低谷，这或许对于当下的生成式AI浪潮，也有一定指导意义。
5. 文章认为，生成式AI在诸多专业领域展现了潜力，但仍然存在幻觉问题和训练数据不足的问题。
6. 文章指出，大模型并非是一个资金进入两三年，便能“万丈高楼平地起”的行业，一个重资产、长周期的“慢行业”。
大模型技术基础学习路线，想要学好大模型应该具备哪些能力？
文章概要：
1 大模型基础学习至关重要，其本质是工具，学习方向包括使用制造工具。
2. 大模型基础技术路线包括理论基础、编程基础、深度学习框架、特定领域知识、实践经验和算法基础。
. 理论基础是技术的开始，包括人工智能概念、机器学习、深度学习、神经网络原理等。
. 编程基础以Python为主，也可使用其他语言，大模型作为服务由Python开发并封装成接口。
5. 深度学习框架类似于模具，可提高开发效率，常见框架有PyTorch和Tensorflow。
6. 特定领域知识如自然语言处理和计算机视觉，与大模型结合可提高研究效率。
7. 实践经验强调理论与实践结合，通过实操验证理论。
8. 算法是计算机的灵魂，大模型是算法的集大成者。
9. 学好大模型需要技术基础和多学科知识。
阅读原文
2. 大模型基础技术路线包括理论基础、编程基础、深度学习框架、特定领域知识、实践经验和算法基础。
. 理论基础是技术的开始，包括人工智能概念、机器学习、深度学习、神经网络原理等。
. 编程基础以Python为主，也可使用其他语言，大模型作为服务由Python开发并封装成接口。
5. 深度学习框架类似于模具，可提高开发效率，常见框架有PyTorch和Tensorflow。
6. 特定领域知识如自然语言处理和计算机视觉，与大模型结合可提高研究效率。
7. 实践经验强调理论与实践结合，通过实操验证理论。
8. 算法是计算机的灵魂，大模型是算法的集大成者。
9. 学好大模型需要技术基础和多学科知识。
NeurIPS 2024 ｜ SparseLLM：突破性全局剪枝技术，大语言模型稀疏化革命
文章概要：
1. 论文提出了SparseLLM，一种创新的全局剪枝框架，使得大规模模型压缩更加高效。
2. 介绍了SparseLLM的动机和技术方法，通过将全局剪枝问题分解为更易管理的子问题，从而在高稀疏度下也能实现高效的优化和优异的性能。
3. 通过在多个大规模语言模型上进行实验，验证了SparseLLM框架的有效性，能够在不同规模的预训练语言模型上实现高效的全局剪枝，同时保持良好的模型性能。
4. 讨论了SparseLLM的未来研究方向，包括动态剪枝策略的研究、稀疏性与硬件加速的结合、剪枝后的模型微调等。
阅读原文
2. 介绍了SparseLLM的动机和技术方法，通过将全局剪枝问题分解为更易管理的子问题，从而在高稀疏度下也能实现高效的优化和优异的性能。
3. 通过在多个大规模语言模型上进行实验，验证了SparseLLM框架的有效性，能够在不同规模的预训练语言模型上实现高效的全局剪枝，同时保持良好的模型性能。
4. 讨论了SparseLLM的未来研究方向，包括动态剪枝策略的研究、稀疏性与硬件加速的结合、剪枝后的模型微调等。
聊一聊国内大模型公司面经和感受
文章概要：
1. 作者了自己面试国内大模型公司的经历，包括智元机器人、面壁科技、光年、北京智源人工智能研究院、360、Minimax、昆仑万维、云从科技、阿里夸克、衔远、潞晨科技、蚂蚁、腾讯、小红书、商汤、百川智能、百度文心、科大讯飞、IDEA研究院、好未来、零一万物、月之暗面、阿里达摩院、边塞科技等公司。
2. 作者总结了面试的经验感悟，包括大模型方向的内卷、Research岗位对工程的要求、硬核岗位对多个点的要求、市场前景、RLHF的前景、大模型包的相对高一些、大多数公司还是集中在语言模型等。
3. 作者列出了一些比较高频的考点，包括多头注意力、各种Norm、框架相关内容、BERT、GPT等比较主流大模型、大模型训练、数据预处理、evaluation等。
阅读原文
2. 作者总结了面试的经验感悟，包括大模型方向的内卷、Research岗位对工程的要求、硬核岗位对多个点的要求、市场前景、RLHF的前景、大模型包的相对高一些、大多数公司还是集中在语言模型等。
3. 作者列出了一些比较高频的考点，包括多头注意力、各种Norm、框架相关内容、BERT、GPT等比较主流大模型、大模型训练、数据预处理、evaluation等。
百度自动驾驶大模型介绍
文章概要：
1. 百度自动驾驶大模型（Apollo ADFM）是百度公司推出的一款专为L4级自动驾驶设计的大模型。
2. Apollo ADFM基于超过1亿公里的中国复杂城市道路测试里程数据训练而成，能够有效应对各种复杂交通状况。
3. Apollo ADFM被应用于与浙江控股集团合作开发的车辆上。br> 4. ADFM的特点感知能力、规划控制、数据闭环体系、实际应用、商业合作等方面。
5 百度Apollo ADFM技术实现策略包括数据驱动、多传感器融合、深度学习与强化学习、地图与定位、自动化的数据闭环体系、安全性与冗余设计、云平台支持、开放平台与生态建设。
阅读原文
2. Apollo ADFM基于超过1亿公里的中国复杂城市道路测试里程数据训练而成，能够有效应对各种复杂交通状况。
3. Apollo ADFM被应用于与浙江控股集团合作开发的车辆上。br> 4. ADFM的特点感知能力、规划控制、数据闭环体系、实际应用、商业合作等方面。
5 百度Apollo ADFM技术实现策略包括数据驱动、多传感器融合、深度学习与强化学习、地图与定位、自动化的数据闭环体系、安全性与冗余设计、云平台支持、开放平台与生态建设。
读书报告｜2024“百模大战”竞争格局分析报告（文末全文福利～）
文章概要：
1. 2024年“百模大战”竞争格局分析报告发布，报告从战鼓齐鸣、势如破竹、百舸争流、终局未定四个部分，对中国AI大模型的发展历程关键进展、竞争格局、应用领域等进行了深入分析。
2. 报告指出，中国AI大模型发展历经四个阶段，目前市场竞争激烈，大模型时代来临既带来技术革新的机遇，也伴随着产业整合和资源争夺的挑战。
3. 报告认为，“百模大战”的上半场是资源和技术的碰撞，下半场需要重点关注商业落地能力和客户投资回报价值。
4. 报告还对通用大模型和垂类大模型的竞争力进行了分析，并对未来发展趋势进行了预测
5. 报告指出，通用大模型趋于寡头竞争格局，垂类大模型呈现碎片化竞争格局，开源与闭源持续维持双线发展，AI Agent构建“人机协同”新范式，多模态生成将在短中期内落地。
阅读原文
2. 报告指出，中国AI大模型发展历经四个阶段，目前市场竞争激烈，大模型时代来临既带来技术革新的机遇，也伴随着产业整合和资源争夺的挑战。
3. 报告认为，“百模大战”的上半场是资源和技术的碰撞，下半场需要重点关注商业落地能力和客户投资回报价值。
4. 报告还对通用大模型和垂类大模型的竞争力进行了分析，并对未来发展趋势进行了预测
5. 报告指出，通用大模型趋于寡头竞争格局，垂类大模型呈现碎片化竞争格局，开源与闭源持续维持双线发展，AI Agent构建“人机协同”新范式，多模态生成将在短中期内落地。
探索 Prompt：从基础概念到高级工程技术
文章概要：
1. 文章介绍了 Prompt 的基本概念，包括定义和作用，如引导输出和挖掘模型能力。
2. 文章解释了为什么需要 Prompt，包括 LLM 的局限性和 Prompt 的弥补作用。
3. 文章详细介绍了多种先进的 Prompt 工程技术，包括 Zero-shot Prompting、Few-shot Prompting、Chain-of-Thought Prompting、Self-Consistency Prompting、Prompt Chaining、Tree of Thought Prompting、Automatic Prompt Engineering (APE) 和 Program-Aided Language Models (PALM)。
阅读原文
2. 文章解释了为什么需要 Prompt，包括 LLM 的局限性和 Prompt 的弥补作用。
3. 文章详细介绍了多种先进的 Prompt 工程技术，包括 Zero-shot Prompting、Few-shot Prompting、Chain-of-Thought Prompting、Self-Consistency Prompting、Prompt Chaining、Tree of Thought Prompting、Automatic Prompt Engineering (APE) 和 Program-Aided Language Models (PALM)。
AI大模型的转折点，关注哪些机遇？
文章概要：
1. OpenAI推出最新力作模型o1，融合强化学习（RL）的训练方法和思维链（CoT）技术，在物理、化学、等学科领域内实现性能显著，为人工智能领域树立新标杆。
2. o1模型的问世为大模型的和提供新的参考范式——RL+CoT，从定性角度看，模型需要更多的训练和推理算力来支持其性能的提升。
3. 升级版的AI大模型主要聚焦于强化逻辑推理能力， Network的初步框架即将形成，那些需要更逻辑处理的B端用户率先从中受益。
4 RL+Co的训练范式将带动训练算力需求的显著提升建议投资者关注与算力的，如博通、电股份、富联等。
5. o1模型出的强逻辑推理有望扩展到更广泛和通用的领域，建议投资者关注核心的AI企业，如微软、奥多比、金山办公、泛微网络、萤石等。
阅读原文
2. o1模型的问世为大模型的和提供新的参考范式——RL+CoT，从定性角度看，模型需要更多的训练和推理算力来支持其性能的提升。
3. 升级版的AI大模型主要聚焦于强化逻辑推理能力， Network的初步框架即将形成，那些需要更逻辑处理的B端用户率先从中受益。
4 RL+Co的训练范式将带动训练算力需求的显著提升建议投资者关注与算力的，如博通、电股份、富联等。
5. o1模型出的强逻辑推理有望扩展到更广泛和通用的领域，建议投资者关注核心的AI企业，如微软、奥多比、金山办公、泛微网络、萤石等。
大模型产业步入关键验收期：应用爆发与场景深耕
文章概要：
1. 209月，大模型产业迎来关键时间节点AI项目变动，国内AI大模型应用探索全面铺开
2. C端应用遍地开花，渗透到日常生活多个，提升工作效率，丰富娱乐生活
3. B端市场潜力巨大，大模型在智能客服智能营销、知识问答等场景中的应用日益深入，为企业带来可量化效益提升
4. 技术层面，大模型的迭代速度不断加快，腾讯最新发布的混元大模型unyuan-Turbo，大幅提升了模型效果和训练推理效率，降低了部署成本
5. 大模型的核心优势在于NLP技术的和大规模文本知识处理能力，明确场景需求，在管理、智能客服、内容生成等多个领域找到合适的落
6. 为了推动大模型应用，整个配套设施和生态建设也在不断完善，腾讯云推出的高性能智算底座“腾讯云智算”，为企业提供了高效、稳定的大模型训练环境
7. 在医疗场景中，大模型的应用尤为值得关注，腾讯云与迈瑞医疗合作打造的重症大模型解决方案，显著提升了医疗效率> 8. 经过近两年市场教育，大模型产业逐渐从投资热潮中回归，从业者开始更加关注技术的实际应用价值和长期发展潜力
阅读原文
2. C端应用遍地开花，渗透到日常生活多个，提升工作效率，丰富娱乐生活
3. B端市场潜力巨大，大模型在智能客服智能营销、知识问答等场景中的应用日益深入，为企业带来可量化效益提升
4. 技术层面，大模型的迭代速度不断加快，腾讯最新发布的混元大模型unyuan-Turbo，大幅提升了模型效果和训练推理效率，降低了部署成本
5. 大模型的核心优势在于NLP技术的和大规模文本知识处理能力，明确场景需求，在管理、智能客服、内容生成等多个领域找到合适的落
6. 为了推动大模型应用，整个配套设施和生态建设也在不断完善，腾讯云推出的高性能智算底座“腾讯云智算”，为企业提供了高效、稳定的大模型训练环境
7. 在医疗场景中，大模型的应用尤为值得关注，腾讯云与迈瑞医疗合作打造的重症大模型解决方案，显著提升了医疗效率> 8. 经过近两年市场教育，大模型产业逐渐从投资热潮中回归，从业者开始更加关注技术的实际应用价值和长期发展潜力
大模型如何做视频理解？最新《多模态大语言模型在全面长视频理解》综述
文章概要：
1. 本文重点讨论长视频理解相较于静态图像和短视频理解所带来的巨大差异和独特挑战。与静态图像不同，短视频包含具有空间和事件内时序信息的连续帧，而长视频则由多个事件组成，涵盖事件间和长期时序信息。
2. 长视频理解与其他视觉理解任务之间存在显著差异。相比于静态图像理解，它仅关注静态图像的空间内容，而短视频理解还必须考虑事件内跨连续帧变化的时间信息。此外，长视频通常由多个事件组成，场景和视觉内容各异，需要捕捉事件间和长期的变化以实现有效理解。
3. 本文从模型架构和训练方法的角度详细总结了MM-LLMs的进展，重点关注LV-LLMs在全面长理解中的实现。
4. 本文比较了视频LLMs在从秒到分钟以及从分钟到小时的视频理解基准测试中的表现，为LV-LLMs的现有研究成果提供了见解。
5. 本文讨论了长视频理解领域未来的研究方向，以推进这一研究领域的发展。
阅读原文
2. 长视频理解与其他视觉理解任务之间存在显著差异。相比于静态图像理解，它仅关注静态图像的空间内容，而短视频理解还必须考虑事件内跨连续帧变化的时间信息。此外，长视频通常由多个事件组成，场景和视觉内容各异，需要捕捉事件间和长期的变化以实现有效理解。
3. 本文从模型架构和训练方法的角度详细总结了MM-LLMs的进展，重点关注LV-LLMs在全面长理解中的实现。
4. 本文比较了视频LLMs在从秒到分钟以及从分钟到小时的视频理解基准测试中的表现，为LV-LLMs的现有研究成果提供了见解。
5. 本文讨论了长视频理解领域未来的研究方向，以推进这一研究领域的发展。
边缘端大模型是怎么部署的？重点关注哪些？
文章概要：
1. 本文提供了关于利用移动边缘智能（MEI）来优化大型语言模型（LLMs）的当代综述。首先介绍了LLMs的基础知识，接着讨论了资源高效的LLMs技术，然后通过几个关键应用实例，展示了在网络边缘部署LLMs的必要性，并介绍了面向LLMs的移动边缘智能（MEI4LLM）的架构概览。随后，深入探讨了MEI4LLM的各个方面，广泛涵盖了边缘LLMs的缓存与分发、边缘LLMs的训练以及边缘LLMs的推理。最后，指出了未来的研究方向。
2. 文章介绍了推动大型语言模型（LLMs）在网络边缘部署的应用场景，首次全面调查了6G边缘网络如何促进LLM的缓存与分发、训练及推理，包括边缘LLM的缓存与分发、边缘LLM的训练以及边缘LLM的推理。将特别关注LLM的资源高效部署，以提高网络边缘LLM的存储、通信和计算效率。
3. 文章指出了LLMs与移动边缘智能融合的几个关键研究方向，包括面向LLMs的绿色边缘AI和安全边缘AI。
阅读原文
2. 文章介绍了推动大型语言模型（LLMs）在网络边缘部署的应用场景，首次全面调查了6G边缘网络如何促进LLM的缓存与分发、训练及推理，包括边缘LLM的缓存与分发、边缘LLM的训练以及边缘LLM的推理。将特别关注LLM的资源高效部署，以提高网络边缘LLM的存储、通信和计算效率。
3. 文章指出了LLMs与移动边缘智能融合的几个关键研究方向，包括面向LLMs的绿色边缘AI和安全边缘AI。