Комментировать

А кто будет звать

А кто будет звать cublasSetMatrix, cublasGetMatrix и так далее?

Если вы спрячете эти вызовы в "обертку", то у вас весь пар уйдет в пересылки память-видеокарта и обратно.