上面示意圖中出現了錯誤標注。而在完美注釋的數據集中,以上兩個錯誤均不存在。因此,定義質量的一種方法是計算這些錯誤在帶注釋的數據集中出現的程度。例如計算
實際表示對象的包圍盒的比率。這稱為精度。理想情況下,精度為1。
用邊界框正確注釋的對象的比率。這就是所謂的召回。理想情況下,召回率為1。
但是,計算數據集的精度和召回率還需要對整個數據集中的每個幀進行人工批判性檢查,這可能與注釋過程本身一樣昂貴!為了在計算精度和召回率時獲得效率,因此Annotell團隊依靠統(tǒng)計數據來推斷精度和召回率。僅對所有注釋的統(tǒng)計選擇良好的子集進行人工批判性審查,并使用概率論得出有關整個數據集的結論。更詳細地講,他們使用貝葉斯方法來計算后驗分布,以提高精度并召回整個數據集,這取決于已經進行了嚴格審查的注釋的子樣本。它不僅提供了精確度和召回率的估計,而且還量化了這些估計中的不確定性。例如,我們可以計算所謂的95%可信度下限,這意味著可以確定95%的精度或召回率不低于此閾值。Annotell公司提供了一種具有成本效益的工具,用于根據精度和召回級別以及對級別的確定性來衡量注釋的質量。
2025-03-26 11:46
2025-03-26 11:45
2025-03-25 08:58
2025-03-24 11:41
2025-03-20 13:44
2025-03-17 12:35
2025-03-12 17:36
2025-03-12 16:56
2025-03-07 14:59
2025-03-05 15:37