Работа решателей Ansys на российском интерконнекте Ангара

1. Новожилов Работа решателей ANSYS на
российском интерконнекте Ангара
Новожилов Юрий Владиславович
Руководитель направления HPC
yury.novozhilov@cadfem-cis.ru

2. 2
1948 - Специальное конструкторское бюро № 245 (СКБ-245)
1958 - Научно-исследовательский институт электронных математических
машин (НИЭМ)
1968 - Научно-исследовательский центр электронной вычислительной
техники (НИЦЭВТ)
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Знакомство с НИЦЭВТ

3. 3
RDMA
Хоп 130 нс
Hardware offload
MPI Ping Pong 0,85 мкс
СБИС ЕС8430 по технологии 65 нм
Поддержка OpenSHMEM, MPI, OpenMP
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Коммуникационная сеть Ангара

4. 4XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
HPC интерконнект
Сеть IB FDR 4x Ангара
Cray
Aries
IB EDR 4x Intel OPA Ангара-2
Год выпуска 2011 2013 2012 2015 2015 2018
Топология
fat tree
kD-тор
4D-тор dragonfly
fat tree
kD-тор
fat tree
модиф.4
D-тор
Задержка
MPI, мкс
1 0.85 1.3 1 1 < 1
Задержка на
хоп сети, нс
– / 250 129 100 н/д н/д < 100

5. 5
8 узлов:
• Intel Xeon E5-2660 2.2ГГц@ 8c
• SuperServer 5017GR-TF
• 64 Гб RAM
• SLES11 SP44
3D-тор 4х3x3
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Тестовый стенд «Ангара-К1»

6. 6XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Команда НИЦ ЭВТ
Александр Семенов
Менеджер проекта
Тимур Исмагилов
Технический эксперт

7. 7XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
План эксперимента
Механика:
• Mechanical/APDL
Гидро-газодинамика:
• Fluent
• CFX
Радиофизика:
• HFSS
Явные схемы интегрирования:
• LS-DYNA
• AUTODYN
ANSYS:
• IBM (Platform) MPI
• Intel MPI
Ангара:
• OpenMPI
• MPICH
Подмена Intel MPI на MPICH для
каждого решателя

8. 8
Статическая задача механики
Линейная постановка
14.2 миллиона уравнений
Итеративный решатель
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Блок двигателя
0
5
10
15
20
25
0%
20%
40%
60%
80%
100%
120%
2 4 8 16 32 64
Ускорениерасчета
Эффективностьрешателя
Количесвто процессорных ядер
Эффективность, % Ускорение

9. 9
Статическая задача механики
Нелинейная постановка
1.7 миллиона уравнений
Прямой решатель
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Турбинная лопатка
0
5
10
15
20
25
0%
20%
40%
60%
80%
100%
120%
2 4 8 16 32 64
Ускорениерасчета
Эффективностьрешателя
Количесвто процессорных ядер
Эффективность, % Ускорение

10. 10XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Измеренная скорость соединения
0
500
1000
1500
2000
2500
3000
2 4 8 16 32 64
Скоростьсоединения,Мбайт/с
Количесвто процессорных ядер
0
500
1000
1500
2000
2500
3000
2 4 8 16 32 64
Скоростьсоединения,Мбайт/с
Количесвто процессорных ядер

11. 11XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Измеренные задержки
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
5
2 4 8 16 32 64
Задержка,мкс
Количесвто процессорных ядер
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
5
2 4 8 16 32 64
Задержка,мкс
Количесвто процессорных ядер

12. 12
Внешняя аэродинамика
k-ε модель турбулентности
10.3 Миллиона элементов
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Внешняя аэродинамика болида LeMan
0
10
20
30
40
50
60
0%
20%
40%
60%
80%
100%
120%
2 4 8 16 32 64 128
Ускорениерасчета
Эфективностьрешателя
Количесвто процессорных ядер
Эфективность, % Ускорение, раз

13. 13
Краш-анализ
10.3 Миллиона элементов
830 тысяч узлов
XIV Международная Конференция пользователей CADFEM/ANSYS, 2017
Столкновение 3-х автомобилей
0
2
4
6
8
10
12
0%
20%
40%
60%
80%
100%
120%
8 16 32 64 128
Ускорениерасчета
Эфективностьрешателя
Количесвто процессорных ядер
Эфективность, % Ускорение, раз

14. Итоги и состояние проекта

15. Второй этап тестирования «Ангара» завешен
«Ангара» показала себя HPC интерконнектом
Успешная работа с ANSYS Mechanical, CFX и
LS-DYNA
На очереди Fluent и HFSS

16. Спасибо за внимание!
Новожилов Юрий Владиславович
Руководитель направления HPC
yury.novozhilov@cadfem-cis.ru