首页 > 基准

基准

  • SuperCLUE发布中文大模型基准测评2023年度报告

    12月28日，国内中文模型评测机构SuperCLUE发布中文大模型基准测评2023年度报告。根据报告，过去半年，国内领军大模型企业实现了大模型代际追赶的奇迹，从7月份与GPT3.5的20分差距，每个月都有稳定且巨大的提升，到11月份测评时已经完成总分上对GPT3.5的超越。

  • 多样任务真实数据，大模型在线购物基准ShoppingMMLU开源｜NeurIPS&KDDCup2024

    谁是在线购物领域最强大模型？也有评测基准了。基于真实在线购物数据，电商巨头亚马逊终于“亮剑”——联合香港科技大学、圣母大学构建了一个大规模、多任务评测基准Shopping MMLU，用以评估大语言模型在在线购物领域的能力与潜力。一直以来，想要完整建模在线购物相当复杂，主要痛点是：多任务性：在线购物中

  • 谨防大模型基准评估陷阱！测试集乱入预训练，模型变傻

    站长之家11月9日 消息:最新研究警告，大型模型在基准评估中可能面临潜在危害，原因是测试集中的数据可能意外进入预训练过程。这项研究由中国人民大学信息学院、高瓴人工智能学院和伊利诺伊大学厄巴纳-香槟分校的学者联合进行。研究发现，由于预训练语料包含大量公开文本，而评估基准建立在这些信息之上，大型模型在实

  • 宁德时代否认小米事故车辆搭载其电池OpenAI推出AIAgent评测基准

    《科创板日报》4月3日讯 今日科创板早报主要内容有：四部门：上海市等9个城市列入首批车网互动规模化应用试点范围；湖北：重点支持武汉智能网联汽车等领域培育千亿级集群；山东：将出台文化与科技融合、脑机接口、量子科技3个行动计划。《科创板日报》主播小K为您播报。市场动态宁德时代否认小米事故车辆搭载其电池随

  • OpenAI将开源SimpleQA新基准以衡量大模型真实性

    财联社10月31日电，美国开放人工智能研究中心（OpenAI）当地时间10月30日宣布，为了衡量语言模型的真实性，将开源一个名为SimpleQA的新基准。该基准可衡量语言模型回答简短的事实寻求（fact-seeking）问题的能力。

  • 大规模多构型具身智能新数据集和基准：5.5万条机器人轨迹数据，279项不同任务

    伴随着全球人工智能技术飞速进步，具身智能产业迅猛发展，赋予机器人类人化的泛化能力是具身智能机器人技术的核心目标之一，实现这一目标的关键在于如何使各类机器人本体在面对多样化的环境和任务时，能够展现出卓越的性能。正如ChatGPT需要海量文本数据来训练一样，想要培养出一个能力全面的机器人，也需要大量优质

  • SIGIR2023|30万真实查询、200万互联网段落，中文段落排序基准数据集发布

    段落排序是信息检索领域中十分重要且具有挑战性的话题，受到了学术界和工业界的广泛关注。段落排序模型的有效性能够提高搜索引擎用户的满意度并且对问答系统、阅读理解等信息检索相关应用有所助益。在这一背景下，例如 MS-MARCO，DuReader_retrieval 等一些基准数据集被构建用于支持段落排序的

  • Meta发布AI基准测试工具FACET 用于评估 AI 模型的“公平性”

    要点:Meta发布了名为FACET的数据集，用于探测计算机视觉模型对某些“类别”人群的偏见。FACET包含32000张图片，50000人的图像，标注了职业和活动“类别”，以及人口统计和身体特征。FACET可用于测试模型在不同人口属性上的分类、检测、分割和定位任务的公平性。新火种(xinhuozhon

热门文章