Клевер Кей
+7 (499) 322-81-76

Новая технология для быстрой обработки данных от Fujitsu

02.12.2016

Новая технология высокоскоростной обработки данных в процессе обучения от Fujitsu 

Японская компания опубликовала данные о разработке уникальной программной технологии, которая объединяет несколько графических процессоров (GPU, Graphics Processing Unit), для осуществления быстрого глубинного обучения.

Ранее для ускорения глубинного обучения было необходимо несколько компьютеров с мощными GPU, которые объединялись в сеть. Основной проблемой при подключении более 10 вычислительных машин является большое время на обмен данных.

Технология Fujitsu обеспечивает более быстрый обмен данными в сети компьютеров. Тестирование прошло в рамках платформы глубинного обучения Caffe.

Используя сеть AlexNet и группу компьютеров с 64 GPU, проект показал, что быстродействие почти в 27 раз выше, чем при использовании 1 компьютера с одним GPU. Скорость обучения в сети с 16 GPU выросла на 46%, а в сети с 64 GPU на 71%. Используя такую систему для решения задач машинного обучения можно достичь поставленных целей за 1 день в режиме 64 GPU, для которых ранее требовался один месяц.

В ходе разработки и введения двух новых технологий Fujitsu увеличила скорость обработки данных в процессе глубинного обучения:

1. Технология контроля очередности при обмене данных

Суть технологии в автоматическом контроле приоритета обмена данными с целью предварительного обмена данными между компьютерами, которые будут необходимы для начала последующей сессии обучения. За счет выполнения данной операции в процессе обмена данными второго уровня повышается быстродействие системы.

2. Технология оптимизации рабочих операций в соответствии с объемом данных 

При небольшом размере данных, результаты проведенных операций передаются всем компьютерам, каждый из которых производит обмен данными. Имея большой объем данных, происходит перераспределение обработки, и результаты по обработке передаются остальным компьютерам для дальнейших операций. В итоге, за счет автоматического выбора одного из двух методов данная технология повышает общую скорость работы.

Используя новую разработку Fujitsu, можно добиться значительного сокращения времени исследований в процессах глубинного обучения, также в разработке моделей нейронных сетей для автоматизации и управления. Данный проект можно использовать так же в сфере здравоохранения и финансов, к примеру для прогнозирования биржевых курсов. Компания Fujitsu заявила о планах получать коммерческую выгоду в рамках проекта по разработке искусственного интеллекта Human Centric AI Zinrai.


HP Dell IBM Fujitsu NetAPP Cisco APC Allied Telesis NetGear qlogic brocade emulex mellanox axus infotrend dothill tandberg quantum finistar hitachi emc extreme eaton supermicro sun huawei juniper toshiba intel adaptec amd emerson asus lenovo iomega seagate avaya microsoft qnap synology Western Digital aten kingston trendnet Oracle pny delta Dlink zyxel