Функцией систолического процессора является согласование режимов работы отдельных процессоров с частными шагами распараллеленного алгоритма.
Большие работы проводятся в области совершенствования архитектуры ПВС на всех ее иерархических уровнях, в том числе и на уровне элементной базы. По сравнению с магистральными вычислительными комплексами (МВК) ПВС в своей архитектуре использует более гибкие методы соединения процессорных элементов как между собой, так и с модулями памяти. Общие магистрали МВК объединяют не более 15—20 процессоров, в то время как новые коммутационные принципы в ПВС позволят объединить тысячи процессорных элементов.
Создание новых архитектурных построений в ПВС предполагает использование понятия масштаба параллелизма, который характеризуется временем (периодом) между процессами, требующими синхронизации процессорных элементов. В соответствии с этим рассматриваются три вида масштаба параллелизма — мелкомасштабный, среднемасштабный и крупномасштабный по числу и организации выполняемых в вычислительной системе команд.
Мелкомасштабный параллелизм обеспечивает синхронизацию на уровне отдельных выполняемых команд; среднемасштабный параллелизм — на уровне процессов, включающих в себя 20—200 выполненных команд; крупномасштабный параллелизм — на уровне процессов, включающих в себя 200—2000 команд. Ограничения, связанные с возможностями элементной базы, позволяют предполагать, что серийное освоение высокопроизводительных ПВС в 90-х годах будет осуществляться с использованием мелкомасштабного параллелизма.
Для архитектуры ПВС характерно применение в ее структуре сопроцессоров, выполняющих функциональные задачи повышения производительности системы. Вместе с тем использование сопроцессоров накладывает определенные ограничения на развитие алгоритмического и программного обеспечения ПВС.
Арифметические сопроцессоры расширяют функции основного микропроцессора за счет набора операций над числами с плавающей запятой в ПВС со среднемасштабным параллелизмом. Возможно также включение в состав процессорных элементов ПВС микросхем с функциями сопроцессоров обработки сигналов. Матричные и векторные сопроцессоры в схемах ПВС используются для численных расчетов. Эти сопроцессоры во многих областях применения являются технологическими предшественниками ПВС, однако для них характерны «узкие места» (сложности программирования), которые непреодолимы без перехода к архитектуре ПВС.