Но нервные сети громадные, и их вычисления – интенсивная энергия, так, они не весьма практичны для переносных устройств. Большая часть приложений для смартфона, каковые надеются на нервные сети легко, загружает эти на интернет-серверы, каковые обрабатывают их и передают результаты обратно в телефон.Сейчас, исследователи MIT создали чип особого назначения, что увеличивает скорость вычислений нейронной сети к трем – семи разам по ее предшественникам, уменьшая потребление энергии 94 – 95 процентов.
Это имело возможность сделать его практичным, дабы руководить нейронными сетями в местном масштабе по смартфонам либо кроме того включить их в бытовую технику.«Неспециализированная модель процессора – то, что имеется память в некоей части чипа, и имеется процессор в второй части чипа, и Вы перемещаете эти назад и вперед между ними, в то время, когда Вы делаете эти вычисления», говорит Авишек Бисвас, аспирант MIT в информатике и электротехнике, кто привел разработку нового чипа.
«Так как для этих методов машинного обучения необходимо столько вычислений, эта передача назад и вперед данных – главная часть потребления энергии. Но вычисление, которое делают эти методы, возможно упрощено до одной определенной операции, названной точечным продуктом. Отечественный подход был, мы можем осуществить эту функциональность точечного продукта в памяти так, дабы Вы не должны были передавать эти сведенья назад и вперед?»Biswas и его советник по вопросам тезиса, Анэнта Чандрэкэсан, декан Школы MIT Разработки и доктор наук Вэнневэра Информатики и Буша Электротехники, обрисовывают новый чип в докладе, что Biswas делает на этой неделе на Интернациональной твердотельной Конференции по Схемам.
Назад к аналогуНейронные сети, в большинстве случаев, устраиваются в слои. Единственный узел обработки в одном слое сети будет обычно приобретать эти из нескольких узлов в слое ниже и передавать эти к нескольким узлам в слое выше. У каждой связи между узлами имеется собственный личный «вес», что показывает, как большой роль продукция одного узла будет играться в вычислении, выполненном следующим.
Обучение сеть есть вопросом урегулирования тех весов.Информацию о получении узла из многократных узлов в слое ниже умножат любой вход на вес соответствующей связи и суммируют результаты.
Та операция – суммирование умножения – есть определением точечного продукта. В случае если точечный продукт превысит некое пороговое значение, узел передаст его к узлам в следующем слое по связям с их собственными весами.Нервная сеть – абстракция: «узлы» – легко веса, сохраненные в памяти компьютера.
Вычисление точечного продукта в большинстве случаев включает установку веса по памяти, установку связанного элемента данных, умножение этих двух, хранение результата где-нибудь и после этого повторение операции для каждого входа к узлу. Учитывая, что у нервной сети будут тысячи либо кроме того миллионы узлов, это – большое количество данных, дабы переместиться.
Но та последовательность операций – легко цифровое приближение того, что происходит в мозгу, где сигналы, едущие на протяжении многократных нейронов, видятся в «синапсе» либо промежутке между связками нейронов. электрохимические увольнения сигналы и Темпы нейронов, каковые пересекают синапс, соответствуют значениям данных и весам.
Новый чип исследователей MIT повышает эффективность, копируя мозг более честно.В чипе входные сокровища узла преобразованы в электрические напряжения и после этого умножены на соответствующие веса. Лишь объединенные напряжения преобразованы назад в цифровое представление и сохранены для обработки.
Чип может так вычислить точечные продукты для многократных узлов – 16 за один раз, в прототипе – в единственном шаге, вместо того, дабы курсировать между памятью и процессором для каждого вычисления.Все либо ничегоОдин из ключей к совокупности – то, что все веса либо 1 либо-1. Это указывает, что они смогут быть осуществлены в самой памяти как простые выключатели, что либо закройте схему либо покиньте ее открытой.
Недавняя теоретическая работа предлагает, дабы нервные сети, обученные лишь с двумя весами, утратили мало точности – где-нибудь между 1 и 2 процента.Изучение Бисваса и Чандрэкэсана подтверждает то предсказание.
В опытах они руководили полным осуществлением нейронной сети на двойном весе и обычном компьютере, эквивалентном на их чипе. Результаты их чипа в большинстве случаев были в 2 – 3 процентах простой сети.