Комментировать

А вы представляете как

А вы представляете как работать с многомерными массивами не на gpu, а на cpu?

И что значит "рваный", много нулей? Или вообще недоступные ячейки?
Если речь идёт об разряженных массивах, (где много нулей), можно придумать формат и для них (естественно где нули не хранятся), также есть уже много придуманных (для 2D) http://en.wikipedia.org/wiki/Sparse_matrix#Storing_a_sparse_matrix