近日，在ICCV2021舉辦的LVIS Challenge Workshop比賽中，騰訊優圖實驗室榮獲冠軍，同時被授予該項目的最佳創新獎。LVIS Challenge 2021 是大規模長尾數據的實例分割任務，是本屆ICCV的重磅比賽之一，吸引了眾多國內外知名企業和高校參加。此次競賽的核心技術方案也將應用于工業AI質檢的場景中，進一步地提高缺陷檢測與分割的精準度，用最核心的技術支持產業落地。
圖1 比賽最終榜單，騰訊優圖排名第一
LVIS是包含1k+類別的大規模長尾分布數據集，相較于常見的實例分割數據集，LVIS具有更精細的標注和更多的類別，從而其分布更加接近自然場景。據統計，尾部類別的實例數量僅僅占比總實例數量的約0.41%，這對現有的實例分割算法提出了極大的挑戰。另外，不同于以往的比賽，本次LVIS比賽采用了Boundary AP替代Mask AP作為評價指標，對分割精度提出了更高的要求。
圖2. LVIS競賽介紹
針對上述挑戰，騰訊優圖團隊提出了平衡分布，優化邊緣的實例分割方法，在測試集上取得了48.1%AP的結果。值得一提的是，在本次Workshop會議中，Ross Girshick 指出優圖此次方法的APr與APf的結果非常相近！
圖3. Workshop會議競賽結果宣布Apr與APf接近
具體技術細節如下：
騰訊優圖團隊將Hybrid Task Cascade（HTC）實例分割算法作為baseline, 采用了表征能力更強的Swin-Transformer作為基礎骨干網絡，同時，基于CBNetV2，復合鏈接兩個相同的Swin-Transformer網絡，作為最終的骨干網絡來加強性能。
圖4. Strong baseline
針對長尾問題，騰訊優圖提出了分布平衡模塊，包括數據平衡和損失平衡處理，從而提升網絡訓練過程中對尾部稀有類別實例的關注。其中，數據平衡方法包括RFS, Balanced Copy-Paste和Balanced Mosaic，增加尾部類別數據出現的概率，兼顧了image-level和instance-level的數據平衡性。同時，優圖采用了Seesaw Loss，在訓練中動態地抑制尾部類別上過量的負樣本梯度，并補充對誤分類樣本的懲罰。
為了更好的優化分割效果，騰訊優圖提出了精細分割模塊，包含Mask Scoring和RefineMask方法?；贛ask Scoring方法，解耦了分類置信度與實例分割得分，用新的網絡分枝學習實例預測的質量，從而避免了分類置信度與分割質量不匹配的問題。針對邊緣分割精度優化，騰訊優圖采用了RefineMask方法，融合多階段的細粒度的上采樣語義特征，從而產生高質量分割結果。考慮時間和精度的平衡，優圖實驗室僅將pipeline中最后一個Mask head替換為Refinemask head。由此可見，騰訊優圖的方法仍然具有提升的空間。
除此之外，基于騰訊優圖對訓練過程的觀察，創新性地采用了頭尾部性能平衡的訓練策略，不僅提升了整體的AP結果，更加極大地拉進了尾部與頭部類別性能的差距。最終，優圖團隊以48.1%AP排名第一。
圖5. (a)分布平衡模塊 （b）精細分割模塊
作為騰訊旗下頂尖的人工智能實驗室，優圖實驗室聚焦計算機視覺，專注人臉識別、圖像識別、OCR等領域開展技術研發和行業落地，在推動產業數字化升級過程中，始終堅持基礎研究、產業落地兩條腿走路的發展戰略，與騰訊云與智慧產業深度融合，挖掘客戶痛點，切實為行業降本增效。未來，騰訊優圖實驗室也將繼續深耕CV技術，并將持續探索更多的應用場景和應用空間，讓更多的用戶享受到科技帶來的紅利。
