Комментировать

Для cublas это же по любому

Для cublas это же по любому делать нужно, в обертке или прямо в коде программы. Но я не слышал, что cublas бессмысленно из-за этого использовать (в смысле что на blas это делать быстрее). Однако это действительно может быть выгодно только для очень больших размерностей задач.