1. Карты НВидиа должны иметь серию не ниже, чем 8***.
2. AMD Stream. Файлы СДК расположены на http://developer.amd.com/GPU/ATISTREAMSDK/Pages/default.aspx. Нужна регистрация. Лично я пользовался только AMD CAL API. Более высокоуровневый Brook+ не понравился. У АМД примеры и доки идут в комплекте с СДК. CUDA-ой не пользовался, т.к. карт НВидиа в наличии нет.
3. Не знаю
4. Да, это обычные ехе-шники. Для карт НВидиа нужно соответственно установить драйвер с поддержкой КУДА. У АМД CAL приложения тоже представляют собой ехе-шники. По желанию можно выносить IL-код в отдельный файлик, для удобства редактирования. Единственная проблема у АМД заключается в управлении картой/картами из нескольких обычных потоков в пределах приложения. Поэтому лучше, когда всеми картами в пределах приложения управляет(с помощью CAL API функций) один поток. Все вышесказанное относится к Win XP.