【信息科学与工程学】计算机科学与自动化——第二百五十五篇 并行计算与计算机网络01

1

理论模型

并行计算

通信开销建模

如何在并行计算中精确量化网络通信延迟？

算法逐步推理：
1. 将消息传输分解为启动开销、传输时间和路由时间。
2. 建立线性模型：T_comm = α + β * n，其中n为消息大小。
3. 引入网络拥塞因子γ，修正为：T_comm = α + β * n + γ * (n / B)。

数学方程式：
T_total = T_comp + T_comm
T_comm = α + β * n + δ(n, topology)
其中δ为拓扑相关函数，对于全连接网络δ=0，对于环网δ≈(p-1)/2 * (α + β