в своем кернеле (который __global__ void) можно создать переменную (например матрицу) с __shared__ перед ней. затем при вызове __device__ функции передавать созданную переменную как параметр, так в этой функции можно "изменять значение shared memory в device функции".

__device__ void initMatrix(double matrix[16]){
// здесь что нибудь делать с этой матрицей
}

__global__ void blah(){
__shared__ double matrix[16];
initMatrix(matrix);
// дальнейшие действия с матрицей
}

Только не следует забывать что эта переменная(матрица, все что угодно) объявленная с помощью __shared__ будет одна на все потоки блока (один диапазон памяти), и потому нужно разобраться с индексацией и размером этой матрицы (чтобы каждый поток читал/писал только свою часть матрицы). А так же не забыть про т.н. bank conflicts (подробнее см в Whitepaper прилагаемый к New Matrix Transpose в SDK вроде с 2.3)

п.с. мы ж про куду говорим? :)))))