Infiniband

Infiniband (иногда сокр. IB) — высокоскоростная коммутируемая компьютерная сеть, используемая в высокопроизводительных вычислениях, имеющая очень большую пропускную способность и низкую задержку. Также используется для внутренних соединений в некоторых вычислительных комплексах. По состоянию на 2014 год Infiniband являлся наиболее популярной сетью для суперкомпьютеров. Контроллеры Infiniband (host bus adapter) и сетевые коммутаторы производятся компаниями Mellanoox и Intel. При создании Infiniband в него закладывалась масштабируемость, сеть использует сетевую топологию на основе коммутаторов (Switched fabric).

В качестве коммуникационной сети кластеров Infiniband конкурирует с группой стандартов Ethernet и проприетарными технологиями, например, компаний Cray и IBM. При построении компьютерных сетей IB конкурирует с Gigabit Ethernet, 10 Gigabit Ethernet и 40/100 Gigabit Ethernet. Также IB используется для подключения накопителей информации NAS. Развитием и стандартизацией технологий Infiniband занимается InfiniBand Trade Association.

Подобно многим современным шинам, например, PCI Express, SATA, USB 3.0, в Infiniband используются дифференциальные пары для передачи последовательных сигналов. Две пары вместе составляют одну базовую двунаправленную последовательную шину (англ. lane), обозначаемую 1х. Базовая скорость — 2,5 Гбит/с в каждом направлении. Порты Infiniband состоят из одной шины или агрегированных групп 4x или 12x базовых двунаправленных шин. Чаще всего применяются порты 4x.

Для портов существует несколько режимов передачи данных по шинам. Более ранние режимы использовали для балансировки сигнала кодирование 8B/10B (каждые 8 бит данных передаются по шине как 10 бит) с накладными расходами в 20 %:

• Single Data Rate (SDR, 1999) — работа с базовой скоростью 2,5 Гбит/с, эффективная скорость (с учётом расходов на кодирование) 2 Гбит/с на каждую шину
• Double Data Rate (DDR, 2004) — битовая скорость равна удвоенной базовой (5 Гбит/с, эффективная 4 Гбит/с). 4x порт имеет физическую скорость 20 Гбит/с и эффективную 16 Гбит/с
• Quad Data Rate (QDR, 2008) — соответственно, учетверённой (базовая 10 Гбит/с), эффективная для 4x порта 32 Гбит/с.

Начиная с режима FDR-10 применяется намного более экономичное кодирование 64B/66B:

• Fourteen Data Rate 10 (FDR-10) — эффективная скорость на 1x шину чуть более 10 Гбит/с, для 4x порта 40 Гбит/с
• Fourteen Data Rate (FDR, 2011) — базовая скорость 1х шины 14,0625 Гбит/с, 4x порт предоставляет около 56 Гбит/с
• Enhanced Data Rate (EDR) — скорость 1x 25,78125 Гбит/с, 4x — около 100 Гбит/с

Основное назначение Infiniband — межсерверные соединения, в том числе и для организации RDMA.

InfiniBand использует коммутируемую среду с соединениями точка-точка, в отличие от ранних вариантов сетей Ethernet, которые использовали общую среду и, изначально – шинное соединение. Все передачи начинаются и заканчиваются на адаптере канала. Каждый вычислительный узел содержит HCA-адаптер (host channel adapter), подключаемый к процессору по интерфейсу PCI Express (ранее – через PCI-X). Между адаптерами пересылаются данные и управляющая информация, в том числе – необходимая для реализации QoS.

Для периферийных устройств предполагалось использование TCA-адаптеров (target channel adapter), но они не получили распространения, а такие периферийные устройства создаются на базе стандартных материнских плат.

HCA-адаптеры обычно имеют один или два порта 4x, которые могут подключаться либо к таким же портам HCA и TCA, либо к коммутаторам (свитчам). Коммутаторы могут быть организованы в сети с топологиями типа утолщённое дерево (Fat Tree), Сеть Клоза, реже — многомерный тор, двойная звезда, и в различных гибридных комбинациях.

Порты и кабели Infiniband 4x имеют форм-факторы:

• CX4 (SFF-8470, например, Fujitsu MicroGiGaCN), только до скоростей DDR (иногда – до QDR)
• QSFP (SFF-8435, SFF-8436, 40 Гбит/с)
• QSFP+ (QSFP14, SFF-8685, 56 Гбит/с)
• zQSFP+ (QSFP28, SFF-8665, 100 Гбит/с).

Более редкие порты 12x выполняются в форм-факторах:

• 12x MicroGiGaCN (Fujitsu FCN-260C024)
• CXP

Чтобы обеспечить максимальную пропускную способность, было принято решение ограничить допустимую длину кабеля InfiniBand до 10 метров (только активный кабель).

Кабели Infiniband могут иметь различное исполнение:

• Пассивные электрические кабели (медная витая пара), длиной обычно в единицы метров, иногда – до 30 м. Для более длинных кабелей доступны меньшие скорости (7 м – для QDR)
• Активные электрические кабели (то же, но с усилителями, позволяют немного увеличить максимальную длину кабеля для данной скорости)
• Активные оптические кабели с интегрированным  кабелем “оптоволокно” длиной от единиц до десятков и сотен метров.
• Активные оптические модули с оптическим коннектором MTP/MTO для подключения оптоволоконных кабелей типа OM3/OM4 (8 волокон), либо SR4, либо LC/LC

Также при использовании универсальных Infiniband/Ethernet- адаптеров в Ethernet-инфраструктуре могут применяться переходники на порты SFP+.
Одним из наиболее популярных, интересных и важных применений Infiniband является распределённая файловая система GlusterFS.
Сигналы Infiniband могут передаваться на несколько дюймов по печатным платам, в том числе через внутренние разъёмы с подходящими частотными характеристиками, при условии почти одинаковой длины всех пар в порту.

Преимущества Infiniband:
1. Высокая пропускная способность: Infiniband обеспечивает очень высокую пропускную способность данных, что делает эту технологию идеальным выбором для высокопроизводительных вычислительных систем.
2. Низкая задержка передачи данных: Infiniband имеет очень низкую задержку передачи данных, что делает его идеальным для использования в приложениях, где важно минимизировать задержку.
3. Высокая надежность: Infiniband обеспечивает высокую надежность передачи данных благодаря встроенным механизмам обнаружения и исправления ошибок.
Недостатки Infiniband:
1. Высокая стоимость: Оборудование Infiniband может быть дорогим, особенно для небольших организаций или индивидуальных пользователей.
2. Сложность настройки и управления: Настройка и управление Infiniband-сетями может потребовать определенного уровня экспертизы и опыта.
3. Ограниченная совместимость: Не все устройства и приложения поддерживают Infiniband, поэтому может потребоваться дополнительная работа для обеспечения совместимости.