По моим ощущениям, если сделать двумерный grid, чтобы можно было делать реально много блоков (тысячи), то будет счастье. Сами блоки, конечно, должны считать поменьше при этом.

Разумное количество блоков - несколько тысяч. Как я понимаю, у вас к global memory ходить незачем, латентность вы тут не спрячете, но планировщику реально лучше от большого числа блоков.

Впрочем, я сужу по задачам, которые используют global memory.