OpenACC並行編程實戰

序
前言
第1章並行編程概覽1
1.1加速器產品1
1.1.1英偉達GPU3
1.1.2英特爾至強融核處理器9
1.2並行編程語言12
1.3CUDAC14
1.3.1線程組織方式16
1.3.2運行過程18
1.3.3內存層級20
1.3.4性能優化技術21
第2章OpenACC概覽22
2.1OpenACC規范的內容23
2.1.1抽象加速器模型25
2.1.2存儲模型25
2.1.3計算執行模型26
2.2OpenACC2.5規范29
第3章OpenACC計算構件36
3.1條件編譯37
3.2導語格式38
3.3計算構件kernels40
3.3.1構件內有1個循環41
3.3.2構件內2個循環44
3.3.3構件內二重嵌套循環45
3.3.4kernels構件內三重嵌套循環48
3.4loop構件52
3.4.1independent子語53
3.4.2reduction歸約子語57
3.4.3不常用的子語64
3.5計算構件parallel66
3.5.1gang單獨模式68
3.5.2gang分裂模式70
3.5.3二重循環73
3.5.4三重循環75
3.6組合導語77
3.7案例研究：Jacobi迭代78
3.7.1CPU上並行化84
3.7.2GPU上並行化88
3.8原子操作：atomic導語91
第4章數據管理97
4.1數據屬性、數據區域和數據生存期99
4.2計算構件的伴隨數據區域100
4.2.1引用計數101
4.2.2present子語102
4.2.3copy子語104
4.2.4copyin子語105
4.2.5copyout子語107
4.2.6create子語108
4.2.7數據子語內的子數組111
4.2.8private私有子語112
4.2.9承上私有firstprivate子語115
4.2.10帶有預置數據屬性的變量116
4.2.11default默認子語117
4.2.12案例研究：Jacobi迭代優化數據傳輸117
4.3data構件119
4.3.1數據管理功能119
4.3.2deviceptr子語121
4.3.3案例研究：data構件迭代優化Jacobi數據傳輸122
4.4enterdata導語和exitdata導語128
4.4.1C++類的數據生存期129
4.4.2傳遞設備數據指針133
4.5update導語135
4.6declare導語138
4.6.1device_resident子語139
4.6.2create子語140
4.6.3link子語140
4.6.4用法舉例141
4.7特定設備的子語146
第5章計算區域內的過程調用148
5.1routine導語150
5.2seq子語（C版）151
5.3seq子語（Fortran版）152
5.4routine（名字）154
5.5bind子語155
5.6用子語指定並行級別155
5.6.1vector級別並行156
5.6.2worker、worker級別並行159
5.7計算圓周率π160
第6章高級特性164
6.1異步操作164
6.1.1async子語165
6.1.2wait子語165
6.1.3wait導語166
6.2設備計算與主機計算重疊166
6.3設備上同時執行多個隊列169
6.4重疊計算與數據傳輸172
6.4.1步驟0：串行代碼174
6.4.2步驟1：計算並行化177
6.4.3步驟2：分塊計算178
6.4.4步驟3：數據分塊傳輸179
6.4.5步驟4：重疊計算與傳輸181
6.5雙向傳輸183
6.6多個設備同時運算185
6.6.1環境變量186
6.6.2運行過程中選擇設備186
6.6.3OpenMP調動多個設備195
第7章與GPU生態環境互操作202
7.1OpenACC調用CUDAC203
7.2OpenACC調用CUDAFortran205
7.3CUDAC調用OpenACC207
7.4捆綁主機地址與設備地址208
7.5CUDAFortran調用OpenACC210
7.6OpenACC（C）調用cuBLAS211
7.7OpenACC（Fortran）調用cuBLAS212
第8章運行時函數213
8.1運行時庫的定義213
8.2運行時庫例程215
8.2.1acc_get_num_devices215
8.2.2acc_set_device_type216
8.2.3acc_get_device_type217
8.2.4acc_set_device_num217
8.2.5acc_get_device_num218
8.2.6acc_init218
8.2.7acc_shutdown219
8.2.8acc_async_test219
8.2.9acc_async_test_all220
8.2.10acc_wait220
8.2.11acc_wait_async221
8.2.12acc_wait_all221
8.2.13acc_wait_all_async222
8.2.14acc_get_default_async222
8.2.15acc_set_default_async223
8.2.16acc_on_device223
8.2.17acc_malloc224
8.2.18acc_free224
8.2.19acc_copyin225
8.2.20acc_create226
8.2.21acc_copyout227
8.2.22acc_delete228
8.2.23acc_update_device229
8.2.24acc_update_self230
8.2.25acc_map_data231
8.2.26acc_unmap_data231
8.2.27acc_deviceptr231
8.2.28acc_hostptr232
8.2.29acc_is_present232
8.2.30acc_memcpy_to_device233
8.2.31acc_memcpy_from_device233
8.2.32acc_memcpy_device234
第9章開發環境搭建235
9.1Windows7236
9.2Linux（rhel）244
9.3編譯工具、特性支持度247
第10章在神威•太湖之光上使用OpenACC253
10.1SW26010眾核處理器253
10.2存儲模型254
10.3執行模型256
10.4數據管理256
附錄著名超級計算機259
后記碼農的悲喜264