IBM заявляет о прорыве скорости нейронной сети

Исследователи IBM заявляют, что разработали платформу распределенного глубокого обучения (DDL) с несколькими серверами, что значительно ускоряет обучение модели нейронной сети и повышает ее точность.

В заявлении сказано, что они обучили модели нейронной сети Resnet с 101 слоем в наборе данных изображений ImageNet 22K, который содержит более 7,5 миллиона изображений с высоким разрешением в 22 000 категорий, занимающих несколько терабайт.

По сравнению с более ранними тестовыми испытаниями Microsoft, которые заняли десять дней и набрали менее 30 процентов точности, исследователи IBM говорят, что они получили модель нейронной сети до 33,8 процента точности проверки примерно через семь часов.

Используя систему глубокого обучения Университета в Беркли, исследователи достигли 95-процентного масштабирования.

Исследовательская группа Facebook из искусственного интеллекта ранее зафиксировала 89-процентную масштабируемость при тренинге Caffe на платформе с 256 GPU, но с более высокими коммуникационными издержками, чем платформа IBM.

«Эти результаты находятся на эталонном уровне, предназначенном для тестирования экстремальных алгоритмов и систем глубокого обучения, так как 33,8 процента могут показаться не очень похожими, это результат, который значительно выше, чем предыдущие публикации», — сказал IBM reserych Hillery Hunter.

Технология IBM может использоваться для обучения ИИ для выполнения определенных задач, таких как более точное и быстрое обнаружение раковых клеток в медицинских изображениях.

Исследователи использовали 64 серверов IBM Power System «Minsky» S822LC для нейронной сети. В них были представлены четыре видеокарты Nvidia Tesla P100, а также процессоры IBM Power8.

Реализованный как библиотека, алгоритм коммуникации IBM с шаблоном с несколькими кольцами может использоваться с платформой Google TensorFlow и Torch для научных вычислений.