【影像處理】CrowdHuman Dataset精細標記多人群聚影像

Posted By 曾 成訓 on 12 月 23, 2019 in 影像處理, 教學文 | 0 comments

利用 COCO dataset 所抓取的 person 物件，雖然可以得到數量非常多的標記圖片（總計有 45,174 標記檔），但若打算應用在人物計算和追蹤上，其實不太合用，最主要的原因在於 COCO 針對多人群聚的標記方式有問題，例如下方這張相片：

（圖片來源：曾成訓提供）

後方的一排球員，並不是每一個都有標識，此外還有一個大標記來註明這一區也是「person」，這種作法會造成我們在計算或需要明確的個人形體識別時造成困擾，因此我們需要找一個對於 person 有明確且嚴謹標識 dataset。

目前最為完整適用於群聚 person 檢測的 dataset 有兩個：CityPersons 及 CrowdHuman，都是由對岸中國開源釋出的，這類的資料集最大的用途在於行人檢測、跟蹤和檢索等。

• 行人檢測：將影片或相片中的所有行人框選出來
• 行人跟蹤：將影片中不同行人的軌跡串連起來，進而識別個體及行進方向
• 行人檢索：將感興趣的人物從影片中檢索出來

CityPersons

由南京理工大學的張姍姍教授於 2017 年發表，請見相關論文，如果您有興趣，下面是該 dataset 發表時的介紹影片，由張姍姍教授主講。

https://www.youtube.com/watch?v=jjyLN93_yjc

• dataset 影像來源：

Cityscapes資料集（攝於德國18個城市）

• 圖片及標記的行人數目：

1. Train dataset: 2975張圖片/ 19,654個行人
2. Val. dataset: 500張圖片/ 3,938個行人
3. Test dataset: 1575張圖片 / 11,424個行人

• Classes（標記 labels）：

1. pedestrian（walking，running，standing up）
2. rider（riding bicycles or motorbikes）
3. sitting person
4. other person（非正常姿勢）

• Dataset download：

1. 標記檔及 trained models
2. 圖片檔需另外從 Cityscapes 網站申請下載

Cityscapes 的 dataset 必須透過線上申請才能下載，我申請了登入帳號並已啟用，但狀態一直停留在等待管理員核可的階段，因此無法下載此 dataset。

CrownHuman

這是由中國最知名的 AI 獨角獸公司矌視科技（Face++）所釋出的資料集，圖片及標記數目比起 CityPersons 更多更完整。以下為各 dataset 的比較，可見 CrowdHuman 是目前最適合用於訓練行人檢測的資料集。