DeepSpeed - DeepSpeed - Wikipedia

DeepSpeed
Оригинальный автор (ы)Microsoft Research
Разработчики)Microsoft
изначальный выпуск18 мая 2020; 6 месяцев назад (2020-05-18)
Стабильный выпуск
v0.3.1 / 12 ноября 2020 г.; 32 дней назад (2020-11-12)
Репозиторийgithub.com/ Microsoft/ DeepSpeed
Написано вPython, CUDA, C ++
ТипБиблиотека программного обеспечения
ЛицензияЛицензия MIT
Интернет сайтглубокая скорость.ai

DeepSpeed является Открытый исходный код глубокое обучение библиотека оптимизации для PyTorch.[1] Библиотека предназначена для снижения вычислительной мощности и использование памяти и тренировать большие распределен модели с лучшими параллелизм на существующих компьютерное железо.[2][3] DeepSpeed ​​оптимизирован для обучения с низкой задержкой и высокой пропускной способностью. Он включает Оптимизатор нулевого резервирования (ZeRO) для обучения моделей со 100 миллиардами параметров и более.[4] Возможности включают обучение со смешанной точностью, обучение с использованием одного графического процессора, нескольких графических процессоров и нескольких узлов, а также параллелизм пользовательских моделей. Исходный код DeepSpeed ​​находится под лицензией Лицензия MIT и доступно на GitHub.[5]

Смотрите также

Рекомендации

  1. ^ «Microsoft обновляет Windows, инструменты Azure с прицелом на будущее». PCMag UK. 22 мая 2020.
  2. ^ Егулалп, Сердар (10 февраля 2020 г.). «Microsoft ускоряет PyTorch с помощью DeepSpeed». InfoWorld.
  3. ^ Microsoft представляет пятый по мощности суперкомпьютер в мире - Neowin
  4. ^ «Microsoft обучает крупнейшую в мире языковую модель Transformer». 10 февраля 2020.
  5. ^ «Microsoft / DeepSpeed». 10 июля 2020 г. - через GitHub.

дальнейшее чтение

внешняя ссылка