今日AI-大模型-2024年11月2日

1. 文章提出LLOME框架，将大语言模型作为高约束双层优化器，并设计了合成测试集，新的训练目标MargE
2. 文章介绍了LLOME框架的细节，包括合成测试函数设计、LLOME框架、MargE训练目标
3. 文章展示了框架的实验优化效果、序列生成质量、推理时外推能力、消融实验
4. 文章总结了LLOME框架的优势和局限性，以及未来研究方向
5. 文章回答了LL框架的一些问题包括Ehrlich函数的设计、双层优化结构的工作原理、MargE目标函数的优势、序列的可行性约束、生成器塌陷问题、外推能力的实现机制、计算效率、生成序列的质量评估、OME框架相比传统进化算法优势和局限性、LLOME框架在生物物理优化问题中的应用前景和需要注意的问题

1. ProtREM模型实现蛋白质突变效应的精准预测
2. ProtREM模型整合序列、结构和进化信息，在蛋白质突变效应预测方面取得了显著进展
3. ProtREM模型实验验证中表现优异，能准确预测突变效应，指导工程师设计出性能更优的突变体
4. ProtREM对计算机科学和生物学领域都具有重要价值，未来有望在工业酶工程中发挥更大的作用

1. 研究背景：中央法则揭示了DNA、mRNA和蛋白质序列之间的内在关联，传统分子生物学研究主要关注线性相关性和信息传递，忽略了许多内在规律。近年来，自然语言处理技术的发展为解决这些生物学难题提供了新思路。
2. 模型架构：BiooBang基于transformer前缀解码器架构，通过并行输入、注意力机制、参数共享、融合架构等关键设计实现双语言建模。
3. 性能评估：BiooBang在蛋白质和mRNA相关任务上的性能评估结果表明，它在6个蛋白质相关任务和4个mRNA相关任务上表现更优。
4. 翻译效率预测：BiooBang在三个人类细胞系的数据集上进行了微调，相比现有最好的UTR-LM模型，在翻译效率和平均核糖体负载预测上的表现更好。
5. 序列生成与实验验证：BiooBang通过收集HEK293T中高TE分数的mRNA序列用于监督微调，采用MLM和CLM两种策略进行微调，使用束搜索生成多个候选序列，实验验证表明，相比传统CAI=1.0的设计，BiooBang(CLM)生成的序列使mCherry和GFP的表达量都提高了约45%。
6. 创新点与意义：首次实现蛋白质和mRNA编码序列的双语言统一建模，揭示了CDS信息与蛋白质功能之间的潜在关联，发现了非编码区(5'UTR和编码区之间存在未知的内在联系，实现了高效表达序列的从头设计，并通过实验得到
7. 数据与代码可用性：预训练和微调数据可在Google Drive和Zenodo获取，实验验证序列可在GitHub获取，BiooBang模型将通过开放网站服务提供非商业使用。

1 近日，来自孟加拉国技术研究团队开发出一种新型深度学习框架DeepRNA，该模型能够直接从RNA序列预测其角和扭转角，RNA结构预测领域重大突破>2.RNA-Twist使用RNA语言模型RiNALMo生成输入特征，每个核苷酸都被表示为1280维的向量。这种基于语言模型的表示方法能够捕获序列中的丰富上下文信息
3. 该模型在SPOT-RNA-1D数据集和RNA-TorsionBERT数据集上的表现均显著优于现有方法，不同核苷酸相互作用类型的预测性能上，对于规范的嵌套碱基对预测最准确
. 论文选取了两个RNA结构（PDB: 7PTK和R4V）进行案例研究预测结构与结构的叠加比较结果显示，7PTK的RMSD为6.59ÅR4V的RMSD为3.31Å
5. 研究团队两个方面的消融实验验证了模型各组件的重要性，包括特征编码方式和组件分析
6. DeepRNA-Tw在RNA扭转角预测领域取得了，但仍存在一些挑战，如某些角度（如α和γ）由于分布较广，预测难度较大，需要进一步整合生物物理约束，全面的数据集

1. 湖南大学等机构的研究团队提出了一种名为BEACON的创新框架，通过桥接化学结构和概念知识来提高CPI预测的准确性。
2. BEACON框架的核心创新在于其双驱动设计，包含特征提取、自监督学习、CPI预测三个关键部分。
3. BEACON设计了四个联合学习目标，在基准评估、冷启动场景评估、跨域性能评估、消融实验中均表现优异。br>4. 研究团队以Ezogabine药物为例进行了深入分析，验证了BEACON的有效性。
5. 本研究为AI辅助药物研发提供了新的研究范式和技术路线，具有重要的理论意义和实践价值。

1. 文章从视觉表征和多模态表征的变化出发，梳理了2019年之后的相关工作，包括视觉表征和视觉预训练、多模态表征对齐（或融合）和多模态预训练、多模态大模型技术。
2. 对于视觉表征，文章从发展上可以分为卷积神经网络（CNN）和Vision Transformer（VIT）两大脉络，二者分别都有各自的表征、预训练以及多模态对齐的发展过程。
3. 对于VIT线，另有多模态大模型如火如荼的发展，可谓日新月异。

1. ChatGPT概述：介绍了OpenAI提供的模型包括GPT-3.5、GPT-4、GPT- Turbo、Mini、O等模型在速度、性能、价格等各具特色
2. 如何选择合适ChatGPT模型：根据任务速度等，选择的Chat模型。
3.AI更新细节：介绍了OpenAI最近重要的更新内容，包括GPT-4的、系统消息与任务定制、GPTs自定义功能等。br>4 GPTs：定制化ChatGPT：介绍GPTs的核心功能，包括任务定制、行为引导集成外部工具等。<>5. 总结：OpenAI提供的多种ChatGPT模型可以满足用户的需求，选择适合模型取决于任务复杂度、对速度和成本的要求。

1. 今年迎来大模型元年，各类AI大模型应用深度服务于生产和。
2. 全球首颗AI大成功发射，开启智能卫星时代。
3. 在字体设计领域，AI大模型将设计效率提升10倍以上，降低80%。
4. AI数字人直播成本不到真人直播的110，成为电商行业的一个大的爆。
5 AI大模型的应用已经遍地开花，未来将会给我们的生活带来更多的惊喜和。

1. 大模型技术为金融领域带来新活力，提升生成专业决策效率和正确性，成为金融服务和产品创新的重要驱动力，但也冲击现有运作模式，促使行业在创新与规范间寻找新平衡。
2. 智能投顾与资产管理：智能投顾利用AI技术为个人投资者提供自动化、个性化投资建议和资产管理服务，优势包括个性化投资方案生成、实时市场监控与调整、费用低效率高。
3. 自动化投资策略生成与优化：自动化投资策略生成依赖于AI大模型的数据学习能力，过程包括数据收集与预处理、模式识别、策略生成、动态调整。
4. 风险预测与资产配置：AI在风险预测中的应用包括市场波动性预测、信用风险预测、系统性风险与市场崩溃预测。
5. AI大模型在金融领域的其他应用：AI大模型还可助力于金融市场预测与分析、合规性监控与自动生成以及客户服务与客服等场景。
6. 未来展望与挑战：未来发展方向是从智能化到全自动化，金融行业面临的挑战包括数据隐私与安全、“黑箱效应”、失业问题与人才转型、监管挑战。

1. 本文对多模态和模态大模型做了系统梳理，介绍了视觉表征、视觉与自然语言的对齐或融合等内容，行文思路是先介绍以CNN为基础的视觉和预训练手段，以及在此基础上的多模态对齐的方法再介绍从VIT技术出发的相关内容。
2. 文章梳理了以CNN为基础的视觉表征和预，以及在此基础上的多模态对齐的方法。其中，视觉表征包括卷积视觉表征模型和预训练、早期多模态融合与预训练。
3. 文章介绍了以VIT为基础的多模态对齐与预训练，包括VIT范式视觉表征和预训练、VIT为基础的多模态对齐与预训练。
4. 文章介绍了多模态与大模型，包括Flamingo、BLIP-2和InstructBLIP、Qwen-VL、LLaVA1.5、VILA、Gemini 1.0和Gemini 1.5、LWM等模型。

1 中科大研究团队提出Ada-KV，自适应预算分配来优化KV缓存的驱逐过程，以提高推理效率。
2. 现有压缩方法往往在各个注意力头之间平均分配预算，未能考虑其特性差异。中科大团队对其进行适配性压缩预算分配，通过精细化运作带来更高的压缩质量br>3 相关研究不仅在学术界引起，更实现了工业界开源落地。
4. Cloudflare workers AI团队进一步将其改进落地于工业部署常用的vLLM框架中，并发布技术报告，开源全部代码。

1. 苏州工业园区积极引导支持大模型从技术突破走向行业应用，大模型在驱动基础科研范式变革、提升要素配置效率、优化升级智能终端产品等领域作用显现，新业态、新模式、新产品加快涌现，初步探索出一条大模型驱动新质生产力发展的有效路径。
2. 园区企业依托大模型苏州、辐射全国，成为催生新质生产力“排头兵”。
3. 垂域大模型在驱动基础科研范式变革领域的潜力已经彰显，但行业落地整体处于探索前期，还不能完全解决研发痛点，未来仍需围绕错误数据、缺失数据、模型幻觉等全面发力，持续迭代升级，有望在1—2年内实现大模型科研能力新跃升。
4. 大模型通过要素优化组合能够提升企业的发展质量和效益，近年，园区头部大模型企业深入梳理产业需求，将大模型融入生产经营过程，重点利用数据等新生产要素满足市场需求端个性化需求，实现经营模式、业务流程创新，以较低的投入实现较高的经济收益。
5. 园区引导企业应用大模型赋能高端装备、交通等优势制造业转型升级，推动各类智能产品从“能用”走向“好用”，智慧工厂加速落地。
6. 园区大模型赋能新质生产力正在加速演进，未来仍有哪些短板需要补上？企业身处市场一线，最有发言权。今年以来，园区广泛搭建平台，聆听企业建议。

1 2024年11月日，丰嘉科技博问AI模型成功通过备案。
2 此次备案成功，意味着丰嘉完全符合关于式人工智能的相关规定和标准。
3嘉科技将不断深化对人工智能领域的探索与研究，为文博单位的数字化、智慧化发展提供技术支持。
4. 丰嘉科技成立于09年，一直致力于、和利用的技术研发工作。<> 5. 公司始终坚持科学技术为第一生产力投资研发国内首个文博垂域语言大模型博问AI，构建了人文与科技融合的文博新生态

1 随着大语言模型（LLMs）及其应用的快速，Ms的能力评估成为重要任务。
2. 为解决现有知识能力评测中存在的数据污染和测试场景受限的挑战，提出一种基于不变扰动的可信赖能力评测工具（PertEval）。
3Eval的整套评测流程，包括内容扰动、格式扰动、知识能力分析。
4. 实验与分析表明，PertEval可以有效地增强模型的扰动抗性，帮助真正地知识，提升知识能力
5.Eval的是迈向worthy AI的重要一步。

1. 10月31，百川智能推出大模型商业化解决方案，即1+产品矩阵，企业将专有数据与智能的全链路优质数据混合，对Baichuan4-Turbo、Baichuan4ir两款模型进行优和增强，实现行业最高的96%多场景可用，并帮助企业以最低成本实现效果最佳的私有化部署。
2. 为解决这一关键难题，百川智能将自用的优质预训练数据、SFT微调数据、强化学习中的训练数据，以及自研的超参自动化搜索和调优、数据动态自适应配比技术等统一封装，了一套全链路优质通用训练方案。
3. 为更好满足行业用户的需求，百川智能对两个模型进行定位。
4. 值得一提的是，作为百川智能的首个E（Mixture of Experts）模型，ichuan 4-Air首创了PRI（Pyramid、Residual、Interval）架构。
5. 企业在部署模型过程中还面临着算法人才稀缺，模型调优高等阻碍。为此，百川智能打造了简单易用的全领域增强工具链。

1. 10月31日，百川智能推出一站式大模型商业化解决方案，即1+3产品矩阵支持企业将专有数据与智能自用的全链路优质训练数据混合，对Baichuan4-Turbo、ichuan-Air两款模型进行调优增强，实现行业最高的6%多场景可用率，并帮助企业以最低成本实现效果最佳的私有化部署
2. 百川智能将自用的优质预数据SFT微调数据、学习训练以及的超参自动化搜索和调优、数据动态自适应配比技术统一封装了一套全链路优质通用训练数据方案
3. 为更好满足行业用户的多样化需求，智能对两个模型进行定位
4百川智能的MoE模型，Baichuan 4ir首创了PRI架构，在相同训练数据下，不仅时效率更高，也大幅领先于GPT-style、Mixtral-style结构的MoE模型
5. 百川智能打造了简单易用的全链路领域增强工具链，企业可以根据自身需求自由选择相应工具，对模型进行加密部署和训练> 6. 目前百川智能客户包括北电数智、完美世界游戏、、60集团、生学教育、爱学堂等，并且与信雅达、用友、软通动力、新致软件、达观数据、胜天成等多家行业生态伙伴，以及华为、中科曙光等硬件厂商，中国移动、中国中国联通等运营商达成合作

1. 央国企落地大模型进入新阶段，已完成初步试点并向核心场景迈进。2. 国网湖南电科院发布10亿节点配网视觉大模型，解决配网环境复杂多变痛点。3. 国网与百度联合研发文心大模型，引入电力业务积累数据和特有知识。4. 国网信通继远软件上线电力安监知识增强大模型，提供十余项微应用。5. 国网首个“大模型”技术领域发明专利授权，改进窗口神经网络进行用户侧负荷预测。6. 国网山东开发10个常见缺陷智能识别模型，设备缺陷识别准确率上升。7. 国网聊城部署ChatS毫秒级”输出事故处理方案。8. 南网发布电力行业人工智能创新平台及自主可控电力大模型“大瓦特”。9. 南网“驭电”智能仿真大模型自主开发，从基础模型开始就嵌入电力系统规律。10. 南网首个自主可控的配网AI大模型在广东上线，应用于配网生产运行支持系统。11. 南方电网广西电网公司发布广西输电人工智能大模型“大瓦特CV”。12. 深圳供电局上线“祝融2.0”，让电网AI技术拥有类似ChatGPT的能力。13. 南方电网完成多个大模型相关项目的招采工作，相关团队正联合百度智能云进行联合创新。14. 国家能源集团发布能源通道大模型，显著提高集团煤电化运一体化运营决策效率和运营能力。15. 国家能源集团国电电力构建火电领域首个燃煤电厂专属的“智能大脑”。16. 中核集团核工业“龙吟”大模型2.0亮相，在核工业公共知识和特有知识领域表现提升。17. 中能拾贝推出拾贝云能源大模型，提供智能化解决方案。18. 羚羊能源大模型发布，涵盖设备运检数、电力营销客服等六大场景应用。19. 气象大模型“伏羲”2.0发布，为风电场和太阳能电站装上智能导航系统0. 江行智能“基于复合大模型的新能源智能运维解决方案”入选优秀案例。21. 龙源电力上线新能源行业首个人工智能模型训练开发、推理与效果性能测评一体化平台。22. 龙源电力上线风电机组功率曲线图像识别AI模型，填补行业空白。23. 爱士惟打造光伏行业首个“人工智能+”产品“爱管家”。24. 宁德核电发布全球参数量最大的核工业大模型“锦书”。25 上海核工院上线我国核能领域首个大模型智能审查系统。

1. 介绍了Flux开源文生图大模型
2. 介绍了深圳大学可视计算研究中心，该中心以图形学、计算机视觉、可视化、机器人、、交互为学科基础，致力促进多个学科深入交叉与创新推进大规模静动态数据获取与优化融合、多尺度几何建模与、可视内容生成与仿真渲染、复杂场景与识别理解、感知与人机交互、学习强化认知、信息与分析等的科学研究
3. 给出了大学可视计算研究中心的，转载及合作为szuvcc@gmail

1. AI大模型正改变着汽车行业，在智能座舱和自动驾驶领域发挥重要作用
2. 智能座舱成为新战场，AI大模型为其带来更加智能的交互体验和丰富的内容服务
3. 自动驾驶领域中，大模型处理大量传感器数据，做出准确决策，提高自动驾驶的安全性和稳定性
4. L3级别的自动驾驶成为发展趋势AI大模型、政策支持和汽车功能的升级共同推动其发展
5.大模型的应用将为自动驾驶赛道带来诸多变化，包括技术水平提升、成本降低和商业模式变化
6. AI大模型的发展离不开半导体和光模块等硬件设备的支持，这些行业将迎来长期受益
7 AI大模型在智慧矿山场景中也发挥着重要作用，实现矿山的自动化生产管理> 8. AI大模型的落地场景广泛，还在车辆研发等领域有着重要
9 AI大模型的训练需要大量具有多样性、准确性和时效性的数据支持
10. 城市NOA是自动驾驶的形式AI大模型应用将为落地提供有力支持
1. 特斯拉、华为、大疆小鹏、等企业在自动驾驶领域都有着自己的技术优势和发展战略AI大模型将为商业化落地提供支持
12. AI大模型的应用为汽车行业带来了前所未有的变革和机遇，推动汽车向智能化、网联化、电动化方向发展

1. 介绍llamaf项目，其将llama.cpp与Cosmopolitan Libc结合，了开源大型语言模型的使用。
2. 该项目Mozilla项目的一部分，初学者可下载LLaVA模型的llamafile。
3 提供了下载、重命名、执行权限、运行llamafile等步骤。
4. 还提供了JSON API快速上手的方法，包括启动llamafile时的Web UI聊天服务器和聊天补全端点。
5. 项目提供了Curl和的客户端示例，以及其他模型的llamaf示例。br> 6. llamafile使得在本地测试大型语言模型变得更加简单和方便。

1. 中国中文信息学会2024学术年会暨第三届全国大模型智能生成大会（CIPS-LMG 2024）将于2024年11月28日-12月1日于浙江嘉兴召开，会议围绕“智聚模都，生成未来”主题，设置了14个分论坛。
2. 会议特别邀请了7位资深专家作报告分享。
3. 会议注册分为个人注册和团体注册，个人注册价格根据注册时间和人员类别有所不同，团体注册可享受“满赠优惠”。
4. 会议举办地点为嘉兴南湖宾馆，预订会议酒店房间的参会代表可享受协议价，费用自理。

1. 科学研究中使用语言模型的十条简单规则（1.0版），Smith GR等人提出，旨在为提供指导，利益并最小化危害
2 十条包括遵循目标期刊、相关风险、避免抄袭、保密性、内容真实性、进行更全面的数据搜索、总结内容、改进书面英语、科学编码、启动科学写作过程
3. 生成式人工智能工具将改变科学研究方式，虽有潜在利益，但也问题，人员前要确保符合期刊指南、无不可控风险避免抄袭和泄露机密信息，核实生成内容真实性

1. 关于LLM的开源与闭源模型的竞争愈发激烈，开源模型以其开放性和社区驱动的特点受到一部分用户的闭源模型则因其专业性和性能优化被广泛应用于商业领域。
. 开源模型因其透明性和社区参与度高而受到一部分开发者的喜爱；假装开源可以让我们感觉到自我认为我们能掌控该模型的所有；但闭源模型在性能优化、安全性和服务方面可能更具优势。
3. 在性能与优化方面，闭源模型通常由专业团队进行优化，能够针对特定的应用场景进行定制和调整，因此在性能上可能更优。
4. 数据集与训练过程也是衡量模型优劣的重要指标。闭模型可能使用更高质量或更大规模的数据集进行训练；假装开源模型则不公开和具体训练过程，只能让你用训好的模型，但无法改进，在不这样的情况下train或者sft模型直接会影响了模型的准确性和鲁棒性的
5. 在安全性与方面，闭源模型由于其不公开的特性，能够更好地控制数据的使用和流动，从而提供更好的安全性和隐私保护。
6. 易用性与支持也是用户选择模型时考虑的重要因素。闭源模型通常提供专业的技术支持和客户服务，易用性较高。<>. 以Meta的LLaMA模型为例，尽管LLaMA模型开源，但其使用条款中存在一定的限制，比如对于拥有超过亿用户的应用程序的用途限制，以及不提供对训练数据的访问，这其不符合开放源代码促进会（OSI）的开源标准。
8. 从的角度来看，开源模型可能依赖于社区和广告收入，其商业模式可能不如闭源。闭源模型通过订阅服务和专业技术支持创造收入，商业模式更为成熟和稳定。
9. 开源模型并不一定闭源模型好。选择模型时应考虑具体的业务需求技术条件以及市场环境。开源模型的和社区驱动的特点在某些场景下具有优势，而闭源模型在性能、安全性和专业性服务方面可能更胜一筹。

1. AMiner发布《全球十个大模型核心团队成员分析报告，从5个维度十个大模型成员的人才现状，为相关人员提供参考。
报告选取了全球大模型，包括GPT、ini、Claude、GLM、LLaMA、Qwen、FalconLMBERT、T5。
3 十个大模型团队全部核心成员的智慧摇篮主要集中在世界著名的高校，其中加州大学系统和大学的培养基地。
4. 十个大模型核心成员最高学历曾在中国高校就读的19位中有86位进入国际市场。
5. 报告覆盖最多的核心成员是来自Google的Gemini和来自OpenAI的GPT团队，分别为417人和262人。
6. 中国青年成员（小于40岁）占比高达8%，相较之下，美国和全球分别为67%和69
7. 全球十个大模型核心的经历主要集中在世界著名的高校中，前十个高校分布在美、、中、印四个国家。
8. 在挑选的十个大模型团队成员968人中，99位为国外大，在国外大模型团队人成员共计167位占比达.7%。<>. 968位核心成员中，有139位是华人且最高学历在中国高校就读，在这139位成员中，86位（62%）国际市场。
. 十个大模型核心成员的学术影响力（H-index）普遍集中在1-35间，该区间学者共计84位，占968核心成员的83.1。

1. 人工智能在教育领域的赋能潜力巨大，有文心一言、讯飞星火、通义千问、工AI、百川AI、包AIGPT-4O、商汤AI、kimi、360智脑、腾混元助手、紫东太初等多款AI大模型备受关注
2 文心一言是由百度推出的大规模语言模型，具有的自然语言处理，可实现文本生成、翻译、问答辅助等多种任务
3. 讯飞星火用于语音识别和语音合成同时支持语种翻译智能对话和测评等功能
4. 通义千问是一款综合性AI大模型，支持多模态数据处理、智能问答和个性化学习路径推荐等教育应用
5. 天工AI在图像识别、自然语言处理和机器学习方面表现卓越，广泛应用于教育评估和智慧校园管理
6 百川AI主要应用于智能客服、知识图谱构建和教育资源推荐等
7. 豆包AI专注于情感计算和人机交互，在教育心理健康辅导和辅导员方面有独特优势
8. GPT4O是最新一代的大规模语言模型，以其卓越的文本生成和深度理解能力闻名
9. 商汤AI在计算机视觉和深度学习方面有显著优势，应用于智能监控、在线教育平台和虚拟实验室等
10. kimi大模型具备强大的语言理解和生成能力，可用于智能写作、知识问答等场景
11. 360智脑在信息检索和智能分析方面表现出色，能够快速准确地回答各种问题
12. 腾讯混元助手结合了自然语言处理和机器学习技术，具备多任务处理能力
1. 紫东太初大模型在多模态数据融合和理解方面有独特优势

1. 文章对360智脑大模型、通义千问、腾讯混元助手、智慧助手小艺、包这五款大模型进行介绍和测评。
2. 360智脑在文本生成与创作服务方面表现优异，响应速度快。360AI助手整合了多个知名AI大模型，提供一站式的AI服务入口。
3. 通义千是阿里巴巴推出的大型语言模型，强大的语言理解与生成能力，支持多语言交互。
4. 腾讯混元助手大模型是腾讯公司开发的先进人工智能平台，专注于提供自然语言处理和机器学习服务。
5. 智慧助手小艺是华为推出的人工智能助手，集成了自然语言处理、语音识别机器学习等技术。
6. 豆包是字节跳动发布的AI大模型，可以解答各类疑问，协助进行文字创作，与用户交流，倾听想法和感受。