Посмотрите как сделаны гистограммы (в примерах CUDA там даже дока отдельная на это место есть), это если хочется совсем выпендриться.

Но вообще, все несложно. Как-то так:
- делаем не очень много блоков (скажем 128)
- в каждом делаем не очень много threads
- в хвосте thread обычной редукцией складываем среднее для блока и записываем в глобальную память (уникальное место для каждого блока)
На хосте усредняем оставшиеся 128 чисел.