(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211156844.6 (22)申请日 2022.09.22 (71)申请人 清华大学 地址 100084 北京市海淀区10 0084信箱82 分箱清华大学专利办公室 (72)发明人 胡坚明　张羽昂　石运达　朱贺　 李星宇　彭黎辉　 (74)专利代理 机构 北京纪凯知识产权代理有限 公司 11245 专利代理师 冀志华 (51)Int.Cl. G06F 16/215(2019.01) G06F 17/18(2006.01) G06Q 10/06(2012.01) (54)发明名称 一种数据集多尺度评估方法、 系统、 设备和 存储介质 (57)摘要 本发明涉及一种数据集多尺度评估方法、 系 统、 设备和存储介质， 包括以下步骤： 基于建立的 自动驾驶数据集多尺度评估体系， 计算待评估数 据集的各指标得分； 绘制多尺度评估体系中各个 指标之间的相互关系并建立网络结构， 并使用网 络层次分析法， 计算各个指标权重； 基于各指标 权重与指标得分， 计算待评估数据集的评估总得 分； 将待评估 数据集的多尺度评估 结果与指标阈 值进行对比， 得到待评估数据集的得到待评估数 据集的多尺度评估结果。 本发明可以广泛应用于 数据集评估领域。 权利要求书2页 说明书18页 附图2页 CN 115543975 A 2022.12.30 CN 115543975 A 1.一种数据集多尺度评估方法， 其特 征在于， 包括以下步骤： 基于建立的自动驾驶数据集多尺度评估体系， 计算待评估数据集的各指标 得分； 绘制多尺度评估体系中各个指标之间的相互关系并建立网络结构， 并使用网络层次分 析法， 计算各个指标权 重； 基于各指标权 重与指标 得分， 计算待评估数据集的评估总得分； 将待评估数据集的多尺度评估结果与指标阈值进行对比， 得到待评估数据集的得到待 评估数据集的多尺度评估结果。 2.如权利要求1所述的一种数据集多尺度评估方法， 其特征在于， 所述自动驾驶数据集 多尺度评估体系， 包括形式质量、 内容质量和效用质量3个一级指标； 所述形式质量指标包括准确性、 有效性、 可理解性、 连贯性和可获得性5个二级指标； 所 述准确性指标包括文件标注准确 率， 时间匹配度与客观事实匹配度指标； 所述连贯性指标 包括数据中 断情况、 数据缺 失比例和连续缺 失情况指标； 所述可获得性指标包括数据采集、 数据处理指标； 所述内容质量指标包括要素完备度、 覆盖度、 平衡度和冗余度4个二级指标； 所述要素 完备度包括静态要素完备性和动态要 素完备性； 所述覆盖度包括场景覆盖度和功能覆盖度 指标； 所述平衡度指标包括场景平衡性和天气平衡性指标； 所述冗余度包括数据冗余度和 要素冗余度指标； 所述效用质量指标包括相关性和自适应性2个二级指标； 所述自适应指标包括可编辑 性、 可扩展性和可重构性指标。 3.如权利要求2所述的一种数据集多尺度评估方法， 其特征在于， 所述文件标注准确率 指标的计算公式为： 式中， λtagging为文件标注准确率， ncorrect为标注与内容相符合的文件的个数， ntotal数据 集中总的文件个数； 所述时间匹配度指标的计算公式为： 式中， λmatching为时间匹配度， nmatchnig为各个传感器采集信息互相匹配文件的个数， ntotal为数据集中总的文件个数； 所述有效性指标的计算公式为： 式中， λvalidity为有效率， tvalidity为有效数据占用的时间， ttotal为数据集的总时间； 所述数据缺失比例指标的计算公式为： 权　利　要　求　书 1/2 页 2 CN 115543975 A 2式中， DMMdataset为数据集整体的缺失比例指标， n为数据集中包含的总的数据条数； DMRitem为该条视频中的帧数缺失比例， MDitem为该条视频中缺失的数据数量， ADitem为该条视 频包含的全部数据数量。 4.如权利要求2所述的一种数据集多尺度评估方法， 其特征在于， 所述绘制各个指标之 间的相互关系并建立网络结构， 使用网络层次分析法， 计算各个指标权 重的方法， 包括： 根据建立的自动驾驶数据集多尺度评估体系中的各项指标， 建立指标之间的相互关 系； 基于各指标之间的相互关系， 使用网络层次分析法， 计算各个指标权 重。 5.如权利要求4所述的一种数据集多尺度评估方法， 其特征在于， 所述指标权重包括综 合权重和全局权重； 所述综合权重表征的是单个一级指标下的若干二级指标各自的分配权 重； 所述全局权重表征每个二级指标在所有11个二级指标中分配的权重， 且所有二级指标 的全局权 重之和为1。 6.如权利要求1所述的一种数据集多尺度评估方法， 其特征在于， 所述将待评估数据集 的多尺度评估结果与指标阈值进行对比， 得到待评估数据集的优势指标和不足指标的方 法， 包括以下步骤： 根据实际情况， 选择基准数据集， 并计算得到基准数据集的各指标得分和评估总得分， 作为指标阈值； 将待评估数据集的各指标得分以及评估总得分与指标阈值进行比对， 得到待评估数据 集的多尺度评估结果。 7.如权利要求6所述的一种数据集多尺度评估方法， 其特征在于， 将待评估数据集的各 指标得分以及评估总得分与指标阈值进行比对时： 对于每一个评价指标， 若待评估数据集 的指标得分不小于指标阈值， 则判定待评估数据集的该项指标为合格， 否则为不合格， 需要 待评估数据集在该指标 方向进行完 善。 8.一种数据集多尺度评估系统， 其特 征在于， 包括： 指标得分计算模块， 用于基于建立的自动驾驶数据集多尺度评估体系， 计算待评估数 据集的各指标 得分； 指标权重计算模块， 用于绘制多尺度评估体系中各个指标之间的相互关系并建立网络 结构， 并使用网络层次分析法， 计算各个指标权 重； 评估总得分计算模块， 用于基于各指标权重与指标得分， 计算待评估数据集的评估总 得分； 评估模块， 用于将待评估数据集的多尺度评估结果与指标阈值进行对比， 得到待评估 数据集的得到待评估数据集的多尺度评估结果。 9.一种处理设备， 所述处理设备至少包括处理器和存储器， 所述存储器上存储有计算 机程序， 其特征在于， 所述处理器运行所述计算机程序时执行以实现权利要求1到7任一项 所述数据集多尺度评估方法的步骤。 10.一种计算机存储介质， 其特征在于， 其上存储有计算机可读指令， 所述计算机可读 指令可被处 理器执行以实现根据权利要求1到7任一项所述数据集多尺度评估方法的步骤。权　利　要　求　书 2/2 页 3 CN 115543975 A 3