Ученые из российской компании Smart Engines разработали новый метод, который значительно увеличивает эффективность работы нейросетей. Основой метода является инновационная схема квантования, повышающая скорость работы нейросетей на 40%. Результаты исследования были опубликованы в научном журнале Mathematics (Q1).
Эта разработка уже находит применение в области компьютерного зрения для обнаружения объектов и распознавания текста. Она также может быть внедрена в автономные беспилотные системы нового поколения, расширяя спектр задач, которые могут выполнять бортовые компьютеры.
Достижение российских ученых вносит значительный вклад в оптимизацию работы нейронных сетей. В настоящее время нейросети часто работают на специализированных видеокартах, но не каждый компьютер оборудован такими картами. В то время как каждое устройство оснащено центральным процессором, который обычно использует 8-битные нейронные сети. Сложность и многомиллионное количество коэффициентов в глубоких нейросетях требуют большой вычислительной мощности, что делает их использование на центральных процессорах затруднительным.
Исследователи из Smart Engines предложили решение в виде 4,6-битных нейросетей, которые работают на 40% быстрее 8-битных моделей без существенной потери качества благодаря более эффективному использованию ресурсов центральных процессоров мобильных устройств. Для этого коэффициенты и входные данные модели квантуются так, чтобы их произведения помещались в 8-битные регистры, а суммирование результатов осуществляется через двухуровневую систему 16- и 32-битных аккумуляторов, что позволяет достигнуть высокой эффективности.
Эта квантовая схема позволяет гибко настраивать разрядность входных данных в зависимости от задачи и не ограничивается степенями двойки, что дает возможность достигать более высокого качества распознавания по сравнению с 4-битными моделями.
«В современных условиях задачи компьютерного зрения должны решаться непосредственно на конечных устройствах, таких как мобильные телефоны, камеры наблюдения или бортовые компьютеры беспилотников, где ограничены вычислительные возможности и энергопотребление. Наша разработка позволяет увеличить возможности решения таких задач почти в полтора раза», — говорит генеральный директор Smart Engines, доктор технических наук Владимир Арлазаров.
Во всех продуктах Smart Engines традиционные «тяжелые» нейросети заменены на 4,6-битные аналоги. Решения компании используются 10 из 13 системно значимых банков, определенных Центробанком, включая такие как Альфа-Банк, ВТБ, Газпромбанк, МКБ, банк «Открытие», Райффайзенбанк, Росбанка, Совкомбанк и Тинькофф.