首家！讯飞星火通过中国信通院可信AI基础大模型全模块评估
文章概要：
1. 近年来大模型技术持续发展，成为驱动产业升级和创新的关键引擎。中国信通院依据技术特征迭代大模型体系，形成系统性测试方法，开展评估工作。
2. 20241月，科大讯飞的讯飞星火模型4. Turbo通过中国信通院基础大模型-模型应用模块标准符合性验证，获得5级评级。科大讯飞成为首家通过基础大模型全能力域评估企业。
3. 讯飞星火具备文本生成、语言、知识问答、逻辑推理能力、代码能力、多模态等七大核心能力，整体布局为“1N体系。
4. 截至目前中国信通院已累计为22提供41项基础大模型评估服务，评估依据《预训练模型和应用评估方法标准，分为模型开发、模型能力、模型运营、模型应用、可信要求五个模块。
阅读原文
2. 20241月，科大讯飞的讯飞星火模型4. Turbo通过中国信通院基础大模型-模型应用模块标准符合性验证，获得5级评级。科大讯飞成为首家通过基础大模型全能力域评估企业。
3. 讯飞星火具备文本生成、语言、知识问答、逻辑推理能力、代码能力、多模态等七大核心能力，整体布局为“1N体系。
4. 截至目前中国信通院已累计为22提供41项基础大模型评估服务，评估依据《预训练模型和应用评估方法标准，分为模型开发、模型能力、模型运营、模型应用、可信要求五个模块。
从近100场大模型比赛看大模型关注热点
文章概要：
1. 比赛平台与模型推广：国内大模型创业公司通过比赛推广自己的模型，如阿里、百度、科大讯飞、智谱等。
2. 大模型逻辑推理能力：提升大模型的推理能力一直是最受关注的，有大量的比赛评测被用于考验大模型的推理能力。
3. 大模型安全问题：大模型的安全问题从chatgpt出来以后就一直是一个热点问题，包括攻击和防守。
4. 行业大模型及完成特定任务的大模型：大模型能够学习到特定的行业知识，以在特定业务上达到的更好的效果，如医学、金融、编程、电信、汽车、教育、读文献、政务、法律等。
5. 大模型硬件落地：在指定的硬件条件下完成大模型的性能优化。
6. 人机区分：分辨人和电脑制作的文章和图片的比赛在2016年深度学习刚火的就有不少了，现在大模型一出来，输出的文章和图片越来越难分辨，这个方向也更加有现实意义。
7. 大模型与数据处理：很多比赛要求参赛者基于提供数据集进行数据合成与清洗，产出一份基于种子数据集的更高质量、更多样性的数据集，并在给定计算约束下进行训练。
8. 大模型与传统NLP任务：大模型已经在很多生成以外的传统NLP任务也取得了比过去其他模型更好的效果，所以严格意义上来说，所有的NLP比赛都可以看做大模型比赛。
9. 多模态大模型：为了推动人工智能在数学推理方面的发展，本次多模态数理大模型挑战赛旨在鼓励开发能够直接理解图像输入且具有出色数学推理能力的人工智能模型。
10. 大模型创作：现在大家都关注大模型的逻辑推理能力，以及具体解决商业、工业问题的应用。大模型的艺术创作能力反而关心的人少了。不过还是有相关的比赛。<>11. 大模型与搜广推：我们都知道，每次CVNLP领域出现点什么热点，国内的一些搜广推从业者都能以最快的速度迁移到搜广推业务中，并且在业务上有效，然后发论文，阿里妈妈是这方面的佼佼者。
12. 大模型的agent调度：本次比赛旨在通过开发基于LLM Agent的智能工具调用系统，提升LLM回答复杂问题的能力。
13. 大模型学术性质的比赛：这些比赛并不指向特定业务，主要针对大模型的评测和操作。
14. 趣味大模型比赛：这类大模型比赛可能并没有明确的业务意义，主要就是通过常规任务对大模型能力进行评测。
阅读原文
2. 大模型逻辑推理能力：提升大模型的推理能力一直是最受关注的，有大量的比赛评测被用于考验大模型的推理能力。
3. 大模型安全问题：大模型的安全问题从chatgpt出来以后就一直是一个热点问题，包括攻击和防守。
4. 行业大模型及完成特定任务的大模型：大模型能够学习到特定的行业知识，以在特定业务上达到的更好的效果，如医学、金融、编程、电信、汽车、教育、读文献、政务、法律等。
5. 大模型硬件落地：在指定的硬件条件下完成大模型的性能优化。
6. 人机区分：分辨人和电脑制作的文章和图片的比赛在2016年深度学习刚火的就有不少了，现在大模型一出来，输出的文章和图片越来越难分辨，这个方向也更加有现实意义。
7. 大模型与数据处理：很多比赛要求参赛者基于提供数据集进行数据合成与清洗，产出一份基于种子数据集的更高质量、更多样性的数据集，并在给定计算约束下进行训练。
8. 大模型与传统NLP任务：大模型已经在很多生成以外的传统NLP任务也取得了比过去其他模型更好的效果，所以严格意义上来说，所有的NLP比赛都可以看做大模型比赛。
9. 多模态大模型：为了推动人工智能在数学推理方面的发展，本次多模态数理大模型挑战赛旨在鼓励开发能够直接理解图像输入且具有出色数学推理能力的人工智能模型。
10. 大模型创作：现在大家都关注大模型的逻辑推理能力，以及具体解决商业、工业问题的应用。大模型的艺术创作能力反而关心的人少了。不过还是有相关的比赛。<>11. 大模型与搜广推：我们都知道，每次CVNLP领域出现点什么热点，国内的一些搜广推从业者都能以最快的速度迁移到搜广推业务中，并且在业务上有效，然后发论文，阿里妈妈是这方面的佼佼者。
12. 大模型的agent调度：本次比赛旨在通过开发基于LLM Agent的智能工具调用系统，提升LLM回答复杂问题的能力。
13. 大模型学术性质的比赛：这些比赛并不指向特定业务，主要针对大模型的评测和操作。
14. 趣味大模型比赛：这类大模型比赛可能并没有明确的业务意义，主要就是通过常规任务对大模型能力进行评测。