Кластер на Tesla

Здравствуйте!
Ставится задача построения кластера на Tesla.
На сайте nvidia както скудно про саму архитектуру - какие связи и тд. (насчет стоичного варианта 1U с 4мя tesla). Нашел только через ссылку на готовые решения, что для связи 1u tesla используется специальная плата расширения pci-e x16. Вот и смущает что 4 теслы подсоединены к хосту только по одному pci-e - пропускная способность получается не ахти... для такого массива графических ускорителей.
Возможно я что то не так понял или не то смотрел...
Просьба людям, знакомым с построением кластеров на tesla, написать что к чему)
Заранее спасибо!

PS нашел что там оказывается 2 pci-e соединения и до 6,4ГБ/с каждое) но все же непонятно как сооружать кластеры - выходит к 1 модулю с tesla требуется хост чтобы не перегружать линии pci-e дополнительными платами для связи с tesla

Forums: 

Готовые кластеры в РФ:

Готовые кластеры в РФ: http://www.ot.ru/facilities_cod_105.html
Примечание: узел 1U с 4x GPU подключается двумя удлинителями PCI-E, снижение производительности на обменах минимально за счет работы высокопроизводительных свитчей установленных в самом 1U узле Tesla.

Если бюджетный вариант, то

Если бюджетный вариант, то могу высказать следующее. Максимум 2 GPU в одной маме. Причина: GPU не из золота сделан, а что если понадобится кластеру подвести простенькие рассчёты на CPU? Перед передачей данных в GPU? Что бы там шина сверх-быстро не передала, всё утнётся. Это одна из причин. Вторая - перегревание даже при мощном охлаждении. Во-первых, большое количество карт рядом очень сильно поднимает температуру даже с активными и водяными системами охлаждения. В частности, из-за близкого расположения, становится труднее отводить тепло.
Идеальный вариант - по 2 GPU в каждом кластере: и волки сыты, и овцы целы. Так же, CPU в случае чего возмётся предобработать данные.
Для связи между кластерами, использовать ПО, работающее по протоколу TCP\IP, а так же распределять данные между кластерами.

ИМХО, но нЕзачем натыкивать всё одном месте. Нужно так же помнить, что это сказывается на стабильности работы всей системы. Если, например, мат-плата выйдет из стоя. А из стоя одна из десятка - дык и ничего страшного.

дешевые материнки

Есть десктопные материнки для 4-х PCIe x16
Asus P7F7-E WS Supercomputer и P6T7 WS SuperComputer
или Gigabyte GA-X58A-UD9

Есть и гораздо более веселое. supermicro X8OBN-F