И так, последовательность такая:
1. Скачиваем и устанавливаем
а. драйвера видеокарты.
б. Visual Studio 2008.
в. Cuda Toolkit (с сайта Nvidia)
г. Cuda SDK (с сайта Nvidia)
д. CUDA VS Wizard (http://sourceforge.net/projects/cudavswizard/files/) кстати так и не понял нужно или нет, но устанавливал.
Тулкит, сдк и визард той версии винды какая стоит (32 или 64).

2. Теперь к настройкам уже внутри Visual Studio.
копируем файлы cutil64D.dll (делал на 64 финде, поэтому возможно в 32 не надо) и Cuda.Rules так, чтобы они были в двух местах
а. cutil64D.dll
C:\ProgramData\NVIDIA Corporation\NVIDIA GPU Computing SDK\C\bin\win64\Debug
C:\CUDA\bin64
б. Cuda.Rules
C:\ProgramData\NVIDIA Corporation\NVIDIA GPU Computing SDK\C\common
C:\Program Files (x86)\Microsoft Visual Studio 9.0\VC\VCProjectDefaults

3. После того как открыли, сделали проект нужно настроить его
а. Проект-Польз правила построения-CUDA Build Rule v3.0 (ставим галочку)
б. Проект-Свойства-c/c++-Общие-Доп каталоги включения-
$(CUDA_INC_PATH)
в. Проект-Свойства-Компоновщик-общие-Доп каталоги библиотек-
$(CUDA_LIB_PATH);$(NVSDKCUDA_ROOT)\common\lib
г. Проект-Свойства-Компоновщик-Ввод-Доп зависимости-
cudart.lib cutil64D.lib (в 32 конечно cutil32D.lib)
д. Проект-Свойства-CUDA Build Rule v3.0-General-Additional include directories-
$(NVSDKCUDA_ROOT)\common\inc;$(CUDA_INC_PATH)
Проект нужно перестроить и смотрите чтобы платформа была х64 (если в 64 делаете), в свойствах вверху, если же нет то смените или настройте в диспетчере конфигураций рядом.
При выборе CUDA Build Rule иногда в свойствах не появляется вкладка для пункта д (у меня по крайней мере), нужно снять галочку, Ок и потом снова войти и поставить.
Пункт 3 нужно делать для каждого проекта.

Собственно все, возможно что то лишнее тут есть, но по крайней мере все работает.
П.С. сорри за рус версию Visual Studio (какая есть =)), пишите если что то не так или как сделать лучше.