OpenCL может быть обвёрткой не только для GPU.
Даже сейчас OpenCL может использовать CPU.
Ничто не мешает написать вам свой вариант OpenCL, который будет использовать хоть кластер, хоть FPGA, хоть реальную тележку Тьюринга которая катается на реальных(физических) рельсах, в которой сидит машинист Петя.
И приложения которые используют OpenCL легко буду использовать вашу библиотеку(вообще без переработок).
Фактически использование OpenCL похоже на описанный вами псевдокод с попугаями.

Вы понимаете, что в случае Windows, OpenCL возможно реализовать как раз в виде DLL(и есть уже готовые реализации от NVidia и ATI)? И как раз эти DLL можно использовать в разных языках программирования.

"Т.е я говорю о создании "прослойки" м/у чипсетом и традиционными языками программирования."
OpenCL как раз и является прослойкой между языками программирования и физическими/виртуальными вычисляторами.