Новая технология для быстрой обработки данных от Fujitsu

02.12.2016

Новая технология высокоскоростной обработки данных в процессе обучения от Fujitsu

Японская компания опубликовала данные о разработке уникальной программной технологии, которая объединяет несколько графических процессоров (GPU, Graphics Processing Unit), для осуществления быстрого глубинного обучения.

Ранее для ускорения глубинного обучения было необходимо несколько компьютеров с мощными GPU, которые объединялись в сеть. Основной проблемой при подключении более 10 вычислительных машин является большое время на обмен данных.

Технология Fujitsu обеспечивает более быстрый обмен данными в сети компьютеров. Тестирование прошло в рамках платформы глубинного обучения Caffe.

Используя сеть AlexNet и группу компьютеров с 64 GPU, проект показал, что быстродействие почти в 27 раз выше, чем при использовании 1 компьютера с одним GPU. Скорость обучения в сети с 16 GPU выросла на 46%, а в сети с 64 GPU на 71%. Используя такую систему для решения задач машинного обучения можно достичь поставленных целей за 1 день в режиме 64 GPU, для которых ранее требовался один месяц.

В ходе разработки и введения двух новых технологий Fujitsu увеличила скорость обработки данных в процессе глубинного обучения:

1. Технология контроля очередности при обмене данных

Суть технологии в автоматическом контроле приоритета обмена данными с целью предварительного обмена данными между компьютерами, которые будут необходимы для начала последующей сессии обучения. За счет выполнения данной операции в процессе обмена данными второго уровня повышается быстродействие системы.

2. Технология оптимизации рабочих операций в соответствии с объемом данных

При небольшом размере данных, результаты проведенных операций передаются всем компьютерам, каждый из которых производит обмен данными. Имея большой объем данных, происходит перераспределение обработки, и результаты по обработке передаются остальным компьютерам для дальнейших операций. В итоге, за счет автоматического выбора одного из двух методов данная технология повышает общую скорость работы.

Используя новую разработку Fujitsu, можно добиться значительного сокращения времени исследований в процессах глубинного обучения, также в разработке моделей нейронных сетей для автоматизации и управления. Данный проект можно использовать так же в сфере здравоохранения и финансов, к примеру для прогнозирования биржевых курсов. Компания Fujitsu заявила о планах получать коммерческую выгоду в рамках проекта по разработке искусственного интеллекта Human Centric AI Zinrai.