Оптимизация и развертывание моделей глубокого обучения на аппаратном обеспечении Intel
Преобразуйте обученные модели в промежуточный формат и выполняйте высокопроизводительный вывод с помощью Model Optimizer и Inference Engine, обрабатывая ЦП, ГП и НПУ. Корпорация Intel предоставляет этот набор инструментов с открытым исходным кодом для разработки на настольных и периферийных устройствах, с API на Python и C++ и интеграцией в Visual Studio. Он поддерживает TensorFlow, PyTorch, ONNX, Keras и PaddlePaddle, а также включает инструменты для квантования и развертывания GenAI. Набор инструментов подходит для разработчиков и инженеров ИИ, которые нацелены на оборудование на базе Intel для вывода с низкой задержкой и высокой пропускной способностью.
Что делает OpenVINO для развернутых моделей?
OpenVINO конвертирует и подготавливает модели, используя Model Optimizer для перевода артефактов TensorFlow, PyTorch, ONNX, Keras и PaddlePaddle в промежуточное представление. Кроме того, Neural Network Compression Framework применяет квантизацию и другие оптимизации для уменьшения размера модели. Затем Inference Engine выполняет эти IR файлы на поддерживаемых процессорах Intel и графических процессорах, что позволяет одной и той же конвертированной модели работать на различных устройствах Intel.
Влияет ли это на производительность системы во время вывода?
Инструментарий направляет выполнение на лучшее доступное устройство Intel, чтобы CPU, интегрированный или дискретный GPU, или NPU могли выполнять вывод. Поддержка процессоров Intel Core, Xeon, Atom и графики Arc, UHD или Iris Xe явная, и Inference Engine нацеливается на соответствующие примитивы устройства, чтобы снизить задержку и увеличить пропускную способность во время выполнения. Разработчики могут выбирать специфические для устройства бэкенды, чтобы сбалансировать нагрузку на CPU и использование ускорителей.
Безопасно ли это и управляемо для производственных сред?
OpenVINO работает по лицензии с открытым исходным кодом и интегрируется с рабочими процессами разработчиков через Python и C++ API и хуки Visual Studio. Инструментарий предоставляет шаги по конвертации и оптимизации модели перед выполнением, уменьшая необходимость изменять производственные бинарные файлы во время выполнения. Open Model Zoo предоставляет предварительно обученные модели, а OpenVINO GenAI добавляет конвейеры для генеративных моделей, что вместе позволяет командам повторно использовать проверенные активы вместо развертывания непроверенных бинарных файлов модели напрямую.
Подходит для команд ИИ, ориентированных на Intel; требует знаний о моделях и развертывании
Этот инструмент подходит разработчикам и дата-сайентистам, которым необходимо получить высокопроизводительный вывод на оборудовании Intel и которые могут работать с этапами преобразования моделей и выбора устройств. Единственное предостережение: команды, не знакомые с рабочими процессами оптимизации моделей, столкнутся с кривой обучения, поскольку процесс требует преобразования моделей в формат IR и применения шагов сжатия перед развертыванием.
