Прислали интересную ссылку: GPU + Web: первые впечатления, с интересом почитал, чего и вам советую.

Во всем написанном меня серъезно огорчают несколько моментов:

• Проблемы с 5-секундным watchdog даже на коротких заданиях (которых много).
• Проблемы с параллелизмом (одновременный запуск из нескольких/многих threads).
• Рекомендованая техника обхода watchdog приводит к перерасходу CPU.

Все вместе называется нестабильностью, что обычно для недостаточно "взрослых" технологий

Более-менее понятно, что с обоими проблемами надо бороться аккуратной сериализацией: нужно исполнять не слишком большое количество заданий одновременно, следить за этим и все такое. Но это означает, во многих случаях, изменение архитектуры приложения (очереди, асинхронное исполнение и все такое), что затрудняет внедрение CUDA.