Что то припоминается мне по поводу того что например если мемкопи стоит сразу после кернела то она выполняется только после того как завершатся вычисления.
Но вообще на беглый такой взгляд - да, асинхронно.
Вот кстати есть какой то глобальный ключ:

Programmers can globally disable asynchronous execution for all CUDA
CUDA_LAUNCH_BLOCKING
applications running on a system by setting the
environment variable to 1. This feature is provided for debugging purposes only and
should never be used as a way to make production software run reliably.

п.с. синхронизация начинается на следующем вызове
видимо сначала неправильно понял. Да, точно, о чём разговор то :)