merci pour cet article très riche et bien documenté.
J’aurais ajouté une référence à la loi d’Amdahl (en.wikipedia.org/wiki/Amd… qui donne un cadre théorique à la non linéarité des calculs parallélisés sur N processeurs.
En reprenant l’équation d’amdhal, on peut calculer la proportion de votre code qui s’effectue en série: 30%. C’est donc sur cette partie qu’il faut travailler pour améliorer le score.
Par ailleurs, vous le soulignez justement, pour être complet il faut étendre le système aux autres ressources en jeu et pas seulement le CPU. Vous faites l’expérience du réseau comme goulet d’étranglement, mais d’une manière générale on peut dire que le goulet est toujours liée à un débit d’IO limité; celui du réseau ou celui d’une baie de disque. Dans les supercalculteurs, le facteur limitant est encore un débit d’IOs, mais cette fois-ci il s’agit du bus de communication inter-processeur. Infiniband devrait permettre de repousser les limites…pour un temps.

cdlt,
Laurent.