Комментировать

Да все точно так

Да все точно так же.
cudaMalloc, копирование, а потом пачку указателей тоже на Device.

Но я не понимаю - зачем. Почему не иметь один массив и к нему еще таблицу смещений строк?