在东说念主工智能快速发展的今天，训导机器相接视频内容变得越来越遑急。然则，现有的AI系统在面对长视频时往往力不从心，就像让一个只会看丹青书的孩子一刹去相接一部两小时的电影一样清贫。来自阿联酋穆罕默德·本·扎耶德东说念主工智能大学（MBZUAI）的计划团队最近发表了一项冲破性计划，为这个难题提供了全新的治理有策划。
这项由Mohammed Irfan Kurpath蛊卦的海外计划团队于2025年12月发表的计划论文，题为"A Benchmark and Agentic Framework for Omni-Modal Reasoning and Tool Use in Long Videos"。计划团队来自多个闻名机构，包括MBZUAI、贝鲁特好意思国大学和瑞典林雪平大学。这篇论文初度提倡了一个全面的长视频多模态相接基准测试LongShOTBench，以及一个智能代理系统LongShOTAgent。
现时的AI视频相接时代濒临着一个根人性的矛盾：现有的评测智商要么专注于万古期但忽略音频信息，要么眷注多模态但局限于短片断。这就好比让一个东说念主要么只用眼睛看一部无声电影，要么只听几分钟的片断配音，然后条件他们十足相接整部电影的内容。计划团队刚毅到，真确的视频相接需要同期处理视觉、语音和环境音频信息，况兼要在万古期跨度内保抓连贯的推明智力。
为了治理这个问题，计划团队设备了LongShOTBench这一全新的评测基准。这个基准包含157个长视频，平均时长达到45分钟，臆想进步117小时的视频内容。这些视频不是浅易的片断拼接，而是完竣的连气儿内容，涵盖从烹调教程到时代演示的各种场景。每个视频王人经过经心的多模态标注，确保视觉、音频媾和话信息的完竣性。
LongShOTBench的创新之处在于它的评估形状。传统的AI评测往往吸收选拔题样式，这种形状就像只让学生作念填空题而不允许他们写稿文一样，无法真确测试深层相接智力。相悖，LongShOTBench吸收绽放式问答和多轮对话的体式，更接近真实的东说念主机交互场景。更遑急的是，它还引入了器具使用智力的测试，允许AI系统调用外部器具来扶持相接，这就像给学生提供诡计器、辞书等器具来完成复杂任务。
计划团队还设备了一套专有的评分机制，称为分级评价法式。这种评分形状不再是浅易的对错判断，而是像造就更正作文一样，从多个维度进行精深评估。每个问题王人配有详确的评分法式，包括事实准确性、时期定位智力、多模态信息整合等方面。这种评分形状大概提供愈加精准和可解释的评估效用。
在时代架构方面，计划团队提倡了LongShOTAgent智能代理系统。这个系统吸收模块化想象，就像一个配备了各种专科器具的多面手技师。它的中枢是一个轻量级的合营器，厚爱统筹调配各种专科模块，包括视觉相接模块、语音识别模块和音频分析模块。迎面对复杂的视频理受命务时，合营器会字据需要动态选拔得当的器具组合。
LongShOTAgent的职责经由分为三个阶段。当先是预处理和索引阶段，系统会对输入的长视频进行分段处理，索要各种模态的特征信息，并设立多模态向量数据库。这个过程雷同于文籍料理员为新到的竹素编目和分类，为后续的快速检索作念好准备。接下来是自顺应检索阶段，系统会字据用户的查询需求，智能地定位到最干系的视频片断，幸免在整个这个词长视频中进行低效搜索。临了是迭代优化和抽象阶段，系统会调用各种专科模块对检索到的片断进行久了分析，并将效用整合成连贯的回应。
在实验评估中，计划团队测试了包括Gemini-2.5-Flash、Qwen2.5-Omni等在内的多个先进AI模子。效用败露，即使是最强的营业模子Gemini-2.5-Flash也只达到了52.95%的合座准确率，而开源模子的发达更是普遍低于30%。这个效用令东说念主领略地相识到，现时的AI时代在长视频相接方面仍有很大的教育空间。
真谛的是，计划团队发现模子在处理不同长度视频时的发达有在较着相反。在处理30分钟以内的短视频时，模子发达相对较好，但跟着视频长度增多到60分钟以上，性能较着下落。这种征象雷同于东说念主类在万古期专注时容易出现瞩眼光散播，响应了现时AI系统在万古期顾忌和推理方面的局限性。
LongShOTAgent在此次测试中发达出色，达到了44.66%的合座准确率，天然仍低于Gemini，但显耀杰出了整个开源模子。这确认了通过合理的模块化想象和智能合营，不错在不增多磨真金不怕火数据的情况下显耀教育系统性能。
计划团队还相等眷注了器具使用智力的评估，这是传统视频相接基准中缺失的遑急智力。在试验哄骗中，AI系统往往需要调用各种外部器具来完成复杂任务，比如进行数学诡计、查询外部常识库或膨大代码。LongShOTBench包含了16种不同类型的器具，涵盖语音处理、视觉相接、翻译劳动、诡计器具和信息检索等多个方面。
从数据构建的角度来看，LongShOTBench的制作过程体现了严格的质料适度法式。计划团队吸收了五阶段的自动化经由，包括多模态标注生成、问题想象、谜底生成、分级法式制定和东说念主工考证。整个的问题和谜底王人经过了东说念主工内行的审核和修正，确保了基准测试的可靠性和灵验性。
相等值得一提的是，计划团队在问题想象时引入了情境框架的见识。他们莫得径直让AI模子生成问题，而是当先分析视频内容，识别出不同的不雅看情境，然后基于这些情境想象相应的问题。这种智商更靠近真实的东说念主类视频不雅看体验，大概更好地评估AI系统的实用价值。
在多轮对话评估中，LongShOTBench吸收了理思轨迹设立来幸免造作积存。这意味着在对话的每一轮中，系统王人会基于法式谜底而不是前一轮的造作回应来络续对话。这种想象确保了每一轮对话王人能得到公说念的评估，不会因为前边的造作而影响后续发达。
从时代完了的角度看，LongShOTBench救济原生视频输入公约，幸免了因为不同的帧采样战略而带来的评估偏差。计划团队让每个模子使用我方的默许视频处理形状，这么的想象愈加公说念，也更接近内容哄骗场景。
计划效用揭示了现时AI系统在长视频相接方面的几个要津瓶颈。当先是万古期顾忌问题，现有模子难以在万古期跨度内保管一致的相接景色。其次是多模态信息整合智力不及，好多模子天然大概处理视觉或音频信息，但难以灵验地将它们联结起来进行推理。临了是器具使用智力的缺失，大大王人模子缺少调用外部器具来治理复杂问题的智力。
这项计划的影响不单是局限于学术界。跟着视频内容在平常生涯中的遑急性连续增多，从在线讲解到文娱媒体，从安防监控到医疗会诊，长视频相接时代的哄骗出路极其精深。LongShOTBench为这些哄骗提供了法式化的评估框架，有助于鞭策干系时代的发展和落地。
计划团队也坦率地考虑了现时计划的局限性。由于诡计资源的截止，他们主要眷注了参数目在10亿以下的模子，况兼视频内容主要起原于公开平台，可能在各种性方面存在一定局限。然则，他们答应将迟缓扩大基准测试的规模，并抓续更新和完善评估框架。
从智商论的角度来看，这项计划展示了如何通过合理的任务瓦解和模块化想象来治理复杂的AI问题。LongShOTAgent的告成确认了，并不老是需要更大的模子和更多的磨真金不怕火数据，无意候智能的系统想象和灵验的模块合营相同大概带来显耀的性能教育。
计划团队还相等强调了可复现性的遑急性。他们答应将公开整个的代码、数据和评估框架，使其他计划者大概基于这个基础进行进一步的计划和翻新。这种绽放的计划派头关于鞭策整个这个词领域的发展具有遑急敬爱。
预测将来，这项计划为长视频相接时代的发展指明了标的。跟着更稠密的基础模子和更高效的磨真金不怕火智商的出现，联结LongShOTBench提供的法式化评估框架，咱们有事理折服AI系统在长视频相接方面将会赢得更大的冲破。同期，器具增强的AI代理系统也将在更多内容哄骗中流露遑急作用。
Q&A
Q1：LongShOTBench比拟其他视频相接测试有什么相等之处？
A：LongShOTBench是首个同期眷注万古期跨度和多模态信息的抽象基准。它包含平均45分钟的长视频，同期整合视觉、语音和环境音频信息，还引入了器具使用智力测试。传统测试要么只看短片断，要么忽略音频，LongShOTBench更接近真实的视频相接需求。
Q2：为什么现时最强的AI模子在LongShOTBench上发达不睬思？
A：即使是Gemini-2.5-Flash这么的顶级模子也只达到52.95%的准确率，主要原因是长视频链斗殴及多个时代难点：万古期顾忌保管清贫、多模态信息整合复杂、器具使用智力不及。跟着视频长度增多，整个模子的发达王人会显耀下落，这响应了现时时代的局限性。
Q3：LongShOTAgent是如何职责的？
A：LongShOTAgent吸收模块化想象，包含一个轻量级合营器和多个专科模块。它先对长视频进行预处理和索引，设立多模态数据库，然后字据查询需求智能检索干系片断，临了调用得当的专科模块进行分析并整合效用。这种想象在不增多磨真金不怕火的情况下显耀教育了性能。