視覺人體動作識別技術

第1章 緒論 001
1.1 研究目的和意義 001
1.2 國內外研究現狀 005
1.2.1 人體姿態估計 005
1.2.2 基於視頻的人體動作識別 011
1.2.3 基於骨架序列的人體動作識別 014
1.2.4 基於互動關係的視覺人體動作識別 015
1.2.5 視頻群體動作識別 027
1.3 研究內容 032
1.4 本書結構安排 034

第2章 基於時序一致性探索的人體2D姿態估計 036
2.1 引言 036
2.2 相關工作 038
2.2.1 基於深度學習的視頻人體2D姿態估計 038
2.2.2 卷積長短時記憶網路和可變形卷積 038
2.3 問題定義 039
2.4 圖像人體2D姿態估計網路 040
2.5 視頻時序一致性探索 041
2.5.1 變形操作 042
2.5.2 聚合操作 043
2.5.3 雙向時序一致性探索 043
2.5.4 多尺度時序一致性探索 044
2.6 視頻人體2D姿態估計網路 044
2.7 實驗結果 046
2.7.1 實驗設置 046
2.7.2 性能比較 048
2.7.3 模型控制變數分析與實驗結果 051
2.8 本章小結 055

第3章 多視角幾何驅動的自監督人體3D姿態估計 057
3.1 引言 057
3.2 相關工作 059
3.2.1 基於深度學習的單目人體3D姿態估計 060
3.2.2 弱/自監督單目人體3D姿態估計 060
3.3 自監督人體3D姿態估計方法 061
3.3.1 雙分支自監督訓練網路結構 061
3.3.2 損失函數 062
3.3.3 訓練 064
3.4 實驗結果 065
3.4.1 實驗設置 065
3.4.2 模型控制變數分析與實驗結果 066
3.4.3 性能比較 070
3.5 本章小結 071

第4章 基於人體形狀與相機視角一致分解的人體3D姿態估計 072
4.1 引言 072
4.2 相關工作 074
4.2.1 基於字典學習的單目人體3D姿態估計方法 074
4.2.2 運動恢復非剛體結構 075
4.3 問題定義 075
4.4 一致分解網路 076
4.5 層次化字典學習 077
4.6 模型訓練 079
4.7 實驗結果 079
4.7.1 實驗設置 079
4.7.2 模型控制變數分析與實驗結果 080
4.7.3 性能比較 083
4.8 本章小結 084

第5章 基於多時空特徵的人體動作識別 086
5.1 引言 086
5.2 相關工作 088
5.2.1 基於表觀的時空表示學習 088
5.2.2 基於骨架序列的時空表示學習 089
5.3 多時空特徵人體動作識別方法概述 089
5.4 多層級表觀特徵聚合 090
5.4.1 局部演化描述符提取 090
5.4.2 局部演化描述符編碼 092
5.4.3 深度監督的多層級特徵聚合 092
5.5 時空圖卷積網路 093
5.5.1 時空圖卷積 094
5.5.2 網路細節 095
5.6 實驗結果 096
5.6.1 實驗設置 096
5.6.2 模型控制變數分析與實驗結果 097
5.6.3 性能比較 099
5.7 本章小結 100

第6章 基於扁平式互動關係分析的多人動作識別 101
6.1 引言 101
6.2 相關工作 109
6.3 特徵表徵 111
6.3.1 肢體角度描述符特徵 113
6.3.2 空間佈局特徵 114
6.3.3 基於融合受限玻爾茲曼機的特徵融合 116
6.4 線索互動關係模型 126
6.5 扁平式動作識別方法 127
6.6 局部線索與局部識別 129
6.7 基於目標子空間度量的動作相關性分析 130
6.8 全域線索整合與動作識別 131
6.8.1 全域-局部線索整合演算法 131
6.8.2 改進全域-局部線索整合演算法 132
6.9 實驗結果與分析 136
6.9.1 資料集及實驗設置 136
6.9.2 演算法結果與分析 138
6.9.3 與現有方法的對比 146
6.10 本章小結 149

第7章 基於層級式互動關係分析的群組動作識別 150
7.1 引言 150
7.2 相關工作 152
7.3 混合群組動作模型 154
7.4 混合群組動作模型的概率分佈 157
……