OpenNI體感應用開發實戰

前言
第一部分 基礎篇
第1章 自然人機交互
1.1 什麼是自然交互
1.2 科幻電影場景的人機交互
1.3 自然人機交互技術發展現狀
1.4 本章小結
第2章 Xtion硬件設備
2.1 Xtion設備簡介
2.1.1 Xtion設備的類型
2.1.2 Xtion設備的功能
2.1.3 Xtion設備的規格
2.2 Xtion設備的優勢
2.2.1 Xtion和Kinect的區別
2.2.2 硬件設備的軟件支持
2.3 深度感應器原理
2.3.1 感應器架構
2.3.2 深度感應器工作原理
2.3.3 深度精確度分析
2.3.4 無法偵測物體深度
2.4 本章小結
第3章 OpenNI開發方案
3.1 初識
3.1.1 OpenNI架構
3.1.2 OpenNI支持的模塊
3.1.3 OpenNI的功能
3.1.4 OpenNI中的對象
3.1.5 OpenNI版本更新說明
3.2 OpenNI生產節點
3.2.1 生產節點的類型
3.2.2 生產節點概念圖
3.2.3 生成和讀取數據
3.2.4 OpenNI接口的配置
3.3 OpenNI應用
3.3.1 Xtion Controller應用
3.3.2 INOUT應用
3.3.3 Artec Studio應用
3.3.4 體感技術在初音未來上的應用
3.4 本章小結
第二部分 准備篇
第4章 Xtion開發准備工作
4.1 下載OpenNI及相應程式
4.1.1 下載
4.1.2 下載Middl
4.1.3 下載OpenNI以及相應?
4.2 安裝Op
4.2.1 Windows環境下的准備工作
4.2.2 OpenNI檔案及相關環境
4.2.3 加載設備驅動
4.2.4 檢測Xtion設備
4.2.5 NiViewer基本控制方法
4.3 使用Xtion的注意事項
4.4 本章小結
第5章 搭建基礎的Xtion體感開發環境
5.1 創建控制台工程
5.2 配置工程OpenNI環境
5.3 本章小結
第6章 初識Xtion體感開發
6.1 OpenNI基礎應用
6.1.1 上下文對象初始化
6.1.2 創建生產節點
6.1.3 使用XML文檔中的生產節點
6.1.4 錯誤信息返回
6.1.5 開始產生數據
6.1.6 停止產生數據
6.1.7 上下文對象資源釋放
6.1.8 更新數據
6.1.9 鏡像設置
6.1.10 圖像位置校正
6.2 圖生成器
6.2.1 獲取支持圖輸出模式
6.2.2 圖生成器輸出模式
6.2.3 獲取和設置圖輸出模式
6.2.4 獲取圖像素字節數
6.3 深度生成器
6.3.1 獲取深度元數據對象
6.3.2 獲取深度圖
6.3.3 獲取設備最大深度
6.3.4 獲取設備視野范圍
6.3.5 絕對坐標和相對坐標轉換
6.3.6 獲取用戶位置功能
6.4 用戶生成器
6.4.1 獲取用戶數量
6.4.2 獲取用戶
6.4.3 獲取用戶質心
6.4.4 獲取用戶像素
6.4.5 注冊用戶回調函數
6.4.6 獲取骨架功能
6.4.7 獲取姿勢偵測功能
6.5 場景分析器
6.5.1 獲取場景元數據對象
6.5.2 獲取場景地板
6.5.3 獲取場景標識段
6.6 圖生成器的概念及功能
6.6.1 圖元數據對象
6.6.2 輸出模式設定
6.7 OpenNI程序流程
6.7.1 初始化Co
6.7.2 建立Production
6.7.3 開始產生資料
6.7.4 更新、讀取資料
6.7.5 處理讀取的資料
6.7.6 結束和錯誤偵測
6.8 本章小結
第三部分 進階篇
第7章 人體骨架追蹤
7.1 坐標系
7.1.1 絕對坐標
7.1.2 相對坐標
7.1.3 相對坐標和絕對坐標的轉換
7.2 關節
7.2.1 OpenNI可偵測的關節點
7.2.2 讀取關節資料函數
7.2.3 關節位置的平滑化
7.3 人體骨架追蹤流程
7.3.1 需要特定姿勢的骨架追蹤
7.3.2 不需要特定姿勢的骨架追蹤
7.3.3 使用現有校正資料
7.4 人體骨架追蹤程序搭建流程
7.4.1 創建並初始化設備上下文
7.4.2 創建並設定生產節點
7.4.3 注冊回調函數
7.4.4 開始偵測數據
7.4.5 更新數據
7.4.6 得到用戶信息
7.5 人體骨架識別范例
7.6 本章小結
第8章 手勢識別與手部追蹤
8.1 手勢識別原理
8.1.1 OpenNI支持的手勢
8.1.2 遍歷NITE支持的手勢
8.1.3 添加手勢與回調函數
8.1.4 手勢識別范例
8.2 NITE控制
8.2.1 NITE Control函數詳解
8.2.2 NITE Control范例
8.3 手部追蹤原理
8.3.1 手心生成器回調函數注冊
8.3.2 手部追蹤初始化
8.4 本章小結
第9章 錄制與重播
9.1 錄制
9.1.1 創建錄制器
9.1.2 設置錄制目標檔案
9.1.3 獲取錄制目標檔案
9.1.4 添加錄制節點
9.1.5 刪除錄制節點
9.2 重播
9.2.1 設置重復播放
9.2.2 設置和獲取播放源資料
9.2.3 設置重播起始時間
9.2.4 獲取當前播放位置信息
9.2.5 檢索播放器中的節點
9.2.6 判斷是否播放結束
9.2.7 注冊播放到結尾事件回調函數
9.2.8 設置回放速率
9.3 本章小結
第10章 限制生產節點的建立條件
10.1 有條件地建立生產節點
10.1.1 添加限制條件
10.1.2 設置限制條件
10.1.3 建立生產節點
10.2 通過限制條件列舉符合條件的生產節點
10.3 根據節點信息建立生產節點
10.4 本章小結
第11章 使用XML文檔初始化
11.1 XML文檔設定參數
11.1.1 XML文檔基本架構
11.1.2 XML文檔中的節點
11.1.3 XML文檔使用范例
11.2 使用XML文檔配置功能
11.2.1 強制錄制ONI文檔的XML配置
11.2.2 資料產生
11.3 本章小結
第12章 聲音數據的獲取與使用
12.1 聲音生成器
12.1.1 創建聲音生成器
12.1.2 獲取聲音數據
12.1.3 設置聲音設備的輸出模式
12.1.4 注意事項
12.2 聲音數據的處理
12.2.1 聲音錄制
12.2.2 聲音播放
12.3 本章小結
第13章 彩色圖像的獲取和貼圖
13.1 OpenNI框架支持的圖像格式
13.2 圖像生成器
13.2.1 創建圖像生成器
13.2.2 獲取圖像數據
13.2.3 設置及獲取圖像生成器的輸出格式
13.3 獲取RGB影像及貼出RGB影像
13.4 本章小結
第四部分 實戰篇
第14章 體感鼠標模擬
14.1 手部追蹤與鼠標模擬
14.2 程序編寫前的准備工作
14.2.1 環境准備
14.2.2 界面准備
14.2.3 鼠標相關參數配置准備
14.3 初始化
14.3.1 對話框初始化
14.3.2 載入ini文檔中的配置
14.3.3 OpenNI程序環境初始化
14.4 程序設計
14.4.1 獲取深度圖
14.4.2 獲取用戶數據
14.4.3 鼠標左右手模式的選擇及切換
14.4.4 滾輪控制放大和縮小
14.4.5 左手控制鼠標
14.4.6 右手控制鼠標
14.4.7 鼠標事件指令發送
14.4.8 懸停狀態設計
14.5 本章小結
第15章 Xtion玩《街頭霸王》
15.1 用身體控制游戲人物
15.1.1 人物基本操控動作
15.1.2 通用招式動作設計
15.1.3 游戲人物的特有招式設計
15.2 創建工程、配置工程環境
15.3 初始化
15.3.1 讀取深度數據
15.3.2 處理深度數據
15.3.3 獲取骨架
15.3.4 骨架數據的初步處理
15.4 Ken人物動作的表述
15.4.1 輕拳
15.4.2 跳起
15.4.3 波動拳
15.4.4 神龍拳
15.5 虛擬按鍵機制
15.6 本章小結
第16章 體感方向盤玩賽車類游戲
16.1 體感方向盤設計
16.1.1 操控方向盤基本動作
16.1.2 虛擬線性手柄模擬方向盤
16.2 體感方向盤程序開發初始化
16.2.1 環境初始化
16.2.2 虛擬手柄初始化
16.3 模擬方向盤操控
16.3.1 獲取用戶信息
16.3.2 左右方向的控制
16.3.3 油門與剎車
16.3.4 發送指令給虛擬線性手柄
16.4 本章小結
第17章 Xtion控制機器人
17.1 體感控制機器人需求分析
17.1.1 了解機器人構造
17.1.2 如何用身體操控機器人
17.1.3 機器人操控程序界面設計
17.2 初始化
17.2.1 界面初始化
17.2.2 體感追蹤初始化
17.2.3 回調函數
17.3 控制機器人
17.3.1 連接機器人
17.3.2 發送指令
17.4 機器人程序代碼實現
17.4.1 骨骼數據的初步獲取
17.4.2 左肩的體感控制
17.4.3 大臂轉動的控制
17.4.4 肘部角度計算
17.4.5 手部角度計算
17.4.6 小手臂轉動
17.5 本章小結
第五部分 高級篇
第18章 BVH骨架轉換
18.1 運動捕捉技術簡介
18.1.1 典型的運動捕捉設備組成
18.1.2 傳統捕捉技術
18.1.3 運動捕捉技術應用
18.1.4 運動捕捉技術優缺點
18.2 動作捕獲數據
18.2.1 解析BVH文件
18.2.2 骨架結構
18.2.3 解讀數據
18.3 旋轉
18.3.1 基礎2D旋轉
18.3.2 3D坐標軸旋轉
18.4 歐拉角
18.4.1 從歐拉角轉換到矩陣
18.4.2 從矩陣轉換到歐拉角
18.4.3 從骨架數據中提取歐拉角
18.5 本章小結
第19章 OpenNI Unity工具包
19.1 准備工作
19.1.1 下載和安裝
19.1.2 創建基本對象
19.2 開始游戲
19.2.1 查看控制台中初始化過程
19.2.2 查看傳感器的深度視圖
19.2.3 雷達視圖偵測用戶
19.3 添加骨架模型
19.3.1 導入士兵模型
19.3.2 加入人物模型
19.3.3 修復模型
19.3.4 連接骨骼控制器
19.3.5 骨架匹配
19.3.6 模型制成預制件
19.4 添加用戶選擇器
19.4.1 用戶與玩家的選擇
19.4.2 美化
19.5 本章小結
附錄 BVH文件格式示例