Простыми словами: Закон Амдала (Amdahl's Law)
Зависимость роста производительности от количества параллельных вычислений.
В распределенных системах если все 100% операций параллельны, увеличение производительности будет линейным (пропорциональным).
Пример (если параллельных вычислений 100%):
Ядер x10, производительность увеличивается на x10.
Ядер x1000, производительность увеличится на x1000.
Если параллельных вычислений будет 95%, то производительность будет расти не больше чем на x20.
Если же параллельных операций будет 50%, то производительность вырастет не более чем x2.
Пример (если параллельных вычислений 50%):
Ядер x10, проихводительность x2
Ядер x1000, производительность все равно x2.