今日AI-大模型-2024年11月24日

1 沈向洋官宣IDEA研究院最新成果通用视觉大模型DINO-X，它实现视觉任务大一统，支持各种开发世界感知和目标理解任务。
2. 构建了超过一亿高质量的大型数据集Grounding-100M。
3.INO-X Pro模型在COCO、LVIS-minival和LVIS-val零镜头物体检测测试分别获得了5.0AP、59.8AP和52.AP的成绩。
4. DINO主要有四个方面的特点：全面检测、泛化和通用性、细粒度目标理解、多任务感知与理解。
5. DINO-X可接受文本提示、提示和自定义提示，并能同时生成从粗略的表示到精细的细节等各种输出。
6. DINO-X万物识别能力，让其了对开放世界（Open World）的视觉感知，可以轻松应对真实世界众多不确定性和开放环境。

1. 教育数字化是开辟教育发展新赛道和塑造教育发展新突破口，中国正加快实施人工智能赋能行动，促进智能技术与教育教学、科学。
2. 2024年11月22—24日，2024职业院校人工智能赋能教育教学高峰论坛暨AIGC技术应用研讨会在珠海召开，会议聚焦如何充分式人工智能这把“金钥匙”的作用，通过AI技术赋能教育教学变革，打造Al+教学新形态，促进智教深度融合，提升人才培养质量。
3. 大会期间，“知行大先生”研究联盟正式成立，一款由广东科学技术职业学院牵头开发的AI大模型——“知行大先生”职业教育专有大模型正式对外发布，引发各大媒体广泛关注。
4. “知行大先生”作为针对职业教育的专有大模型创新应用云平台，秉承王阳明先生“格物致知、知行合一”核心思想，以“人机协同”为设计理念，率先开展了AI大模型在职业教育教学中的研发探索与应用实践。
5. “知行大先生”研究联盟将按照“开放共享、共用共创”的理念，汇聚各职业院校的优质教学资源，汇聚AI领域头部企业的资源，打造大模型技术赋能的全新教育生态，引领“职教+AI”创新发展新风向，助推AI时代新质人才培养。
6. 接下来，广东科学技术职业学院将以此次高峰论坛为契机，继续加强交流合作，共同探索人工智能赋能职业教育的新模式、新路径，以“知行大先生”职业教育专有大模型为基础，持续打造和完善大模型技术赋能的全新教育技术生态，引领职教+AI创新发展新风向。

1. Google对Gemini-exp-1121进行了升级，据称它在编程、数学和视觉理解方面的性能比GPT-4o高出20%
2. Gemini-exp-11多项重要的技术优化的Transformer架构和高级检索机制等
3. Google的Gemini-exp-21解决了领域中传统上对具有的性能差距，代表着LLM领域向前迈出的一步

1. 本周总结了10篇有关大模型的研究进展，主要涉及复杂推理大模型Marco-o1、大模型长文本处理、大模型Agent、LLM训练成本降低、多模态大模型、手机大模型、Attention加速、图文感知等热门研究
2. 阿里国际发布Marco-o1，复杂推理大幅提升
3. NUS提出AnchorAttention，长文本处理提升
4. 港大提升LLM长文本推理
5. 夏大降低LLM训练成本
6. Apple构建MM1多模态模型系列
7. 南大提出区域感知文生图RAG
8. 发布1B多语言LLM：Xmodel-1.5
9. VIVO提出手机多模态大模型BlueLM-V-3B
0. JHU提出Genex框架，提升Agent决策能力
1. 清华提出SageAttention2，Attention再加速加倍
12. 总结本周的LLM研究进展，包括复杂推理、长文本处理、Agent、训练成本降低、多模态、手机模型、Attention加速、图文感知等领域的研究

1. 介绍了人工智能大模型是近年来科技领域的重要突破之一，按年份介绍了人工智能大模型发展历程，包括最强大模型及其应用。br>2. 详细介绍了2018年至2023年间的及其应用。

1. 文章介绍了33个AI大模型，包括秘塔AI、文心一言、通义千问大模型、豆包AI模型、天工AI模型等。
2. 每个AI大模型都有其独特的功能特长和适用领域，如秘塔AI擅长语法检查等，适用于法律文书撰写等；文心一言擅长中文文本创作等，适用于广告营销等。
3. 这些AI大模型在不同领域为专业人士提供了强大的智能支持，打开了通往未来的大门。

1. 大模型是一个拥有巨大参数量，并且需要经过大量数据训练的神经网络模型。
2. 人工智能是由人类制造出来一个智能体，其目的是为了把人类从繁重的工作中解脱出来。
3. 机器学习是让机器去学习，以实现人工智能的一种方式。
4. 神经网络是模仿人类的大脑神经元，用一种结构或算法去模仿人类的运作方式，来让机器具备自主学习能力。
5. 大模型是基于神经网络架构的模型大规模的学习数据。
. Transformer模型是大模型基础结构。
7. 大模型技术与自然技术相结合，可让大模型具备读和写的能力与计算机视觉技术，可让模型具备图像和视频处理的能力。
8. 大模型目前还处于初级阶段，发展与完善。

1. 大模型的定义和分类，包括语言大模型、视觉大模型、多模态大模型等。
2. 大模型的训练过程，包括预训练和微调。
3. 大模型的作用和应用场景，包括自然语言处理、计算机视觉、多模态处理等。
4. 大模型的发展趋势，包括参数规模的增长、应用领域的扩展、轻量化等。
5. 大模型带来的挑战，包括失业率上升、版权问题、算法偏见和不公平、犯罪和能耗问题等。

1. 自2023年以来，国资委多次对中央企业发展人工智能提出要求，央国企成为推动国内大部分的大模型落地项目的先行力量。
2. 国资央企在大模型的相关投入上基于其自身能力承担不同的研发任务，在通用大模型的研发方面，三大通信运营商承担主力军，行业大模型和细分领域专用大模型是大部分央企的投入重点。
3. 文章整理了央国企已落地的66个AI模型布局，包括中核集团、中国核电、中国航天科工、中国船舶、中国电科、中国石油等35家央国企。

1 优化大模型涉及多个方面，包括模型结构、训练过程、模型压缩等
2. 算法改进包括自注意力机制的优化结构的调整等
3. 计算资源管理包括分布式训练、混合精度训练等
4. 数据预处理包括数据清洗和增强、高效的数据加载等>5. 模型压缩包括参数共享、知识蒸馏等7. 软件和硬件优化包括使用高效库和框架、硬件加速等
8. 模型剪枝和量化包括模型剪枝、模型量化等

1. 文章探讨了33个AI大模型，包括秘塔AI、文心一言、通义千问大模型等，介绍了它们的功能特长、适用领域和官方网站。
2. 这些AI大模型在语法检查、文本创作、知识问答、语言翻译等方面具有强大的功能，适用于法律、学术、广告营销、教育、新闻媒体等多个领域。
3. 文章认为，这些AI大模型为不同领域的专业人士提供了强大的智能支持，是通往智能未来的钥匙。

1. 介绍了大模型分布式训练的学习包括分布式训练的必要前置知识、数据并行、管线并行、张量并行和DeepSpeed等内容。
2. 分布式训练的必要前置知识包括MapReduce、通信原语、训练流程aterialization。
3. 数据并行包括Ring All-reduce和Parameter Server，管线并行包括PipeDream和GPipe，张量并行包括Megatron和Deepspeed。
4. DeepSpeed包括ZeRO-DP、ZeRO-R、ZeRO-Offload和ZeRO-Infinity。
5. 最后介绍了3D Parallelism，它可以结合模型并行、管线并行和数据并行训练目前所有规模的模型。

1. 多模态语义通信面临数据异构、语义歧义和信号衰落等挑战。> 2. AI大模型在语义通信领域具有准确的语义提取、丰富的先验/背景知识和强大的语义解释能力等优势。
3. 本文提出了一种基于AI大模型的多模态语义通信（LAM-MSC）框架，该框架集成了大型AI模型作为解决方案。
4. 在LAM-MSC框架中，MMA执行多模态转换，LKB用于对文本进行个性化处理，CGE用于估计无线信道中的信道增益。
5. 仿真结果表明，LAM-MSC框架在处理多模态数据通信方面具有优越性能。

1 《2024开源大模型应用指南1.0（风险治理篇）》由云计算开源产业联盟发布，旨在分析开源大模型在应用中的安全、合规挑战，并提供企业在实际应用治理建议。
2. 开源大模型的广泛应用打破了传统人工智能的技术垄断，为个体、企业和国家提供了新的创新空间，但同时也引入了更多的安全和合规挑战。
在全球范围内，各国政府和国际组织都在加强对开源大模型的监管力度。
4. 报告为企业提供了的风险治理建议，包括如何构建大模型的治理体系和实施风险防控措施。
5. 展望未来，报告强调开源大推动人工智能技术民主化和普及化方面具有重要价值，但必须在合规与安全之间寻求平衡。

1. 文章介绍了多模态大模型技术的相关内容，包括BLIP2、InstructBLIP、Qwen-VL、Qwen2-VL、LLaVA、LLaVA-1.5、MiniGPT-4和MiniGPT-v2等模型的结构、训练过程和数据等方面。
2. 文章提到BLIP2的整体架构包括视觉编码器、视觉和LLM的Adapter（Q-Former）、LLM，其预训练包括两个阶段。
3. InstructBLIP模型结构与BLIP-2类似，区别在于输入文本换成了指令数据Instructions。
4. Qwen-VL的VL Adapter一组可训练的queries向量和image features一起做cross-attention，将视觉特征压缩至256的固定长度。
5. Qwen2-VL相较于Qwen-VL的主要改进点包括支持视频理解、Visual Agent能力和图像位置编码采用2D-RoPE等。
6. LLaVA模型的训练过程包括Pre-training for Feature Alignment和Fine-tuning End-to-End两个阶段。
7. MiniGPT-4模型的训练过程包括只训练Linear Projection来对齐视觉特征和大语言模型，以及指令微调两个阶段。
8. MiniGPT-v2模型的训练过程包括预训练、多任务训练和多模态质量微调三个阶段。

1. 今年，Meta、OpenAl、谷歌、Anthropic、百度、微软、英伟达、亚马逊、、腾讯、阿里、华为、字节跳动等企业聚焦AI大模型，持续加强技术、产品、市场、人才和生态等布局，引领全球AI产业一路飞奔。
2. AI大模型龙头企业正在无所不为，大模型产业链各层，通过多种方式进行全栈化的业务布局，发挥业务协同效应。
3. 一是合并领域相近的部门，简化内部结构，提高资源利用率和研发效率。二是打破技术研究和产品开发部门（团队）间的界限，增强研产协同，大模型技术的产品化进程。
. 一是构建跨学科、年轻化的研究团队。二是构建由顶尖人才领衔的研发团队。
. 一是广撒网拓展机会边界，投资风险、完善产业链布局二是聚焦优势领域巩固领先地位。
6.龙头企业通过全栈布局、搭建平台来强化生态链主导地位。

1. 简介：现代基础模型训练包括预训练和后训练阶段，关键在于数据、规模和管理复杂性。Llama 3的预训练语料达15T，采用SFT、RS和DPO等后训练方法。其benchmark表现显示，8B和70B在各方面差距明显，70B和405B在一些评估集中差异较小。
2. 预训练：数据处理要点包括去重和清洗，数据混合和退火数据也很重要。Llama 3相较于2做了一些改动，如GQA、12K tokens的词表和RoPE的调整。Scaling Laws用于模型性能，Llama 3的预训练策略包括初始预训练、长上下文预训练和退火。
3. 后训练：Llama 3的后训练思路包括RM、SFT、RS和DPO。Reward Model通过偏好排序数据训练得到，SFT使用标准交叉熵损失，Rejection Sampling提高效率，DPO用于对齐人类偏好。
4. 推理：Llama 3的推理使用PagedAttention-batching来提高吞吐量，使用FP8量化来提高效率。