Как я понимаю в CUDA нет возможности для глобальной синхронизации, только внутри блока потоков. Однако CUDA-GDB может остановить все потоки во время исполнения а потом возобновить, значит помимо мульти процессоров в архитектуре видеокарты должна быть еще какая-то составная часть отвечающая за управление исполнением всех мультипроцессоров?
Дак вот я и думаю почему разработчикам не дали прямой возможности для использования глобальных барьеров?