Учебное пособие по установке среды io.net в Windows

Пошаговое руководство по установке io.net в Windows и подключению к новым устройствам

io.net Облако — это современная децентрализованная вычислительная сеть, которая позволяет инженерам машинного обучения получать доступ к распределенным облачным кластерам за малую долю стоимости сопоставимых централизованных сервисов.

Современные модели машинного обучения часто используют параллельные и распределённые вычисления. Использование мощности нескольких ядер в нескольких системах для оптимизации производительности или масштабирования до более крупных наборов данных и моделей имеет решающее значение. Процессы обучения и вывода — это не просто задачи, выполняемые на одном устройстве, а часто скоординированная сеть графических процессоров, работающих вместе.

К сожалению, в связи с растущим спросом на графические процессоры в публичных облаках возникают некоторые трудности с получением распределённых вычислительных ресурсов. Вот некоторые из наиболее существенных:

• Ограниченная доступность:Доступ к оборудованию с использованием облачных сервисов, таких как AWS, GCP или Azure, часто занимает недели, а популярные модели графических процессоров часто недоступны.
• Плохой выбор: Пользователи практически не имеют возможности выбора аппаратного обеспечения графического процессора, местоположения, уровня безопасности, задержки и других параметров.
• Высокая стоимость:Приобретение хороших графических процессоров обходится дорого, и проекты могут легко тратить сотни тысяч долларов в месяц на обучение и вывод.

io.net решает эту проблему, агрегируя графические процессоры из малоиспользуемых источников, таких как независимые центры обработки данных, криптомайнеры и криптопроекты, такие как Filecoin и Render. Эти ресурсы объединены в децентрализованную сеть физической инфраструктуры (DePIN), предоставляя инженерам доступ к огромным вычислительным мощностям в системе, которая доступна, настраиваема, экономична и проста в реализации.

документация io.net:https://developers.io.net/docs/overview

Учебное пособие по установке io.net и подключению к новым устройствам

Сначала иди коблако.io.net Войдите в io.net, используя учетную запись Google Mail или X.

1. В раскрывающемся меню выберите WORKER.

2. Подключите новое устройство.

Нажмите «Подключить новое устройство».

3. Выберите поставщика

Выберите поставщика, к которому вы хотите отнести свое оборудование.

4. Дайте имя вашему устройству

Добавьте уникальное имя для вашего устройства, в идеале похожее на следующее: My-Test-Device

5. Выберите операционную систему «ОС».

Щелкните поле Windows.

6. Тип устройства

Если вы выберете GPU Worker, а на вашем устройстве нет графического процессора, настройка завершится неудачей.

7. Установка драйверов Docker и Nvidia

Следуйте инструкциям из нашей документации по установке драйверов Docker, Cuda и Nvidia.

8. Выполнение команд Docker

Выполните эту команду в терминале и убедитесь, что docker desktop работает в фоновом режиме.

9. Дождитесь соединения.

Пока вы ждете подключения новых устройств, продолжайте нажимать кнопку Обновить.

Установка Docker в Windows

Для начала вам необходимо включить виртуализацию в BIOS.

Чтобы проверить, включена ли эта функция, перейдите в диспетчер задач «Производительность», там вы ее увидите:

Если он не включен, выполните следующие действия:

1. Чтобы включить технологию виртуализации в настройках BIOS или UEFI, необходимо открыть меню настроек BIOS или UEFI компьютера во время загрузки. Конкретные действия могут различаться в зависимости от производителя и модели компьютера, но ниже приведены общие инструкции по включению виртуализации.
2. Установите WSL 2, открыв PowerShell от имени администратора. Для этого найдите «PowerShell» в меню «Пуск», щёлкните правой кнопкой мыши «Windows PowerShell» и выберите «Запуск от имени администратора».
3. Чтобы включить функциональность WSL в Windows 10/11, выполните следующую команду:

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

4. Затем включите функцию платформы виртуальной машины в том же окне PowerShell, выполнив следующую команду:

dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

5. Затем установите WSL 2 в качестве версии по умолчанию (для этого может потребоваться перезагрузка компьютера):

wsl --set-default-version 2

Скачать Докер:

Посетите сайт Docker:https://www.docker.com/products/docker-desktop/ и нажмите «загрузить для Windows»:

Запустите процесс установки и перезагрузите машину после его завершения:

Запустите рабочий стол Docker и выберите wsl2 для интеграции в Docker:

Проверьте установку, открыв CMD и введя

докер --версия

Затем вы получите следующий вывод:

Docker версии 24.0.6, сборка ed223bc

Вот и всё. Docker установлен и готов к работе.

Установка драйвера Nvidia в Windows

1. Чтобы проверить наличие нужного драйвера, откройте командную строку на компьютере с Windows (клавиши Windows + R, введите cmd) и введите: nvidia-smi. Если вы столкнулись со следующим сообщением об ошибке:

C:\Users>nvidia-smi «nvidia-smi» не является внутренней или внешней командой, исполняемой программой или пакетным файлом.

Это означает, что у вас не установлены драйверы NVIDIA. Чтобы установить их, выполните следующие действия:

2. Посетите сайт Nvidia:https://www.nvidia.com/download/index.aspxи введите имя вашего графического процессора и нажмите «Поиск»:

3. Нажмите кнопку «Загрузить», чтобы загрузить драйвер NVIDIA, соответствующий вашему графическому процессору и версии Windows.

4. После завершения загрузки начните установку, выберите первый вариант и нажмите «Согласиться и продолжить».

5. После завершения установки необходимо перезагрузить компьютер. Перезагрузка гарантирует полную интеграцию нового драйвера NVIDIA в систему.
6. После перезагрузки компьютера откройте командную строку (клавиши Windows + R, введите cmd) и введите следующую команду:

nvidia-smi

5. Вы должны увидеть примерно такой результат:

Вот и всё. У вас установлены необходимые драйверы NVIDIA, и они готовы к работе.

Загрузите набор инструментов CUDA (необязательно)

1. Посетите страницу загрузки NVIDIA CUDA Toolkit:https://developer.nvidia.com/cuda-downloads

2. Выберите вашу операционную систему (например, Windows).
3. Выберите архитектуру (обычно x86_64 для 64-битной Windows).
4. Загрузите локальный exe-установщик. После загрузки файла запустите его:

5. И следуйте процессу установки.
6. Затем проверьте процесс установки. Откройте командную строку (клавиши Windows + R, введите cmd) и введите следующую команду:

nvcc --версия

7. Вы должны получить следующий ответ:

nvcc: драйвер компилятора NVIDIA (R) Cuda Авторские права (c) 2005-2022 NVIDIA Corporation Создано в среду, 21 сентября, 10:41:10, по тихоокеанскому времени, 2022 г. Инструменты компиляции Cuda, выпуск 11.8, версия 11.8.89 Сборка cuda_11.8.r11.8/compiler.31833905_0

Вот и всё. CUDA Toolkit установлен и готов к работе.

Обратите внимание, что сейчас мы устанавливаем контейнер объёмом 20 ГБ, содержащий все пакеты, необходимые для нашего приложения машинного обучения. Всё происходит внутри контейнера, и ничего не передаётся из него в файловую систему.

Руководство по устранению неполадок

Руководство по устранению неполадок для платформ Docker с поддержкой GPU

Проверьте настройку Docker в Linux и Windows

• Чтобы проверить правильность работы вашей настройки, выполните:

docker run --gpus all nvidia/cuda:11.0.3-base-ubuntu18.04 nvidia-smi

• Вывод должен быть похож на nvidia-smi.
• Эта команда проверяет, правильно ли Docker использует ваш графический процессор.

Остановочная платформа

Windows (с использованием PowerShell):

docker ps -a -q | ForEach { docker rm $\_ }

Нестабильная работа Windows?

Чтобы убедиться, что время аренды DHCP на вашем маршрутизаторе составляет более 24 часов, откройте редактор групповой политики в операционной системе Windows. Включите указанные параметры в следующем порядке:

• Перейдите в раздел «Конфигурация компьютера» в редакторе групповой политики.
• В разделе «Конфигурация компьютера» найдите раздел «Административные шаблоны».
• В разделе Административные шаблоны перейдите в раздел Система.
• В меню «Система» выберите «Управление питанием».
• Наконец, откройте подраздел «Параметры сна» в разделе «Управление питанием».
• В подменю «Параметры спящего режима» активируйте параметры «Разрешить сетевые подключения в режиме ожидания с подключением (питание от аккумулятора)» и «Разрешить сетевые подключения в режиме ожидания с подключением (питание от сети)».
• Обязательно отрегулируйте эти конфигурации соответствующим образом, чтобы достичь желаемых результатов.

Какие порты должны быть открыты на брандмауэре для корректной работы платформы: (Linux и Windows)
TCP: 443 25061 5432 80
УДП: 80 443 41641 3478

Как проверить, что программа успешно запустилась?

При запуске следующих команд в PowerShell (Windows) или терминале (Linux) у вас всегда должны быть запущены 2 контейнера Docker:

докер пс

Если после выполнения команды docker run -d ... на веб-сайте нет ни одного контейнера или запущен только один контейнер:

Остановите платформу (см. руководство по командам выше) и перезапустите ее снова с помощью команды с веб-сайта.
Если это все еще не помогает — обратитесь за помощью в наше сообщество Discord:https://discord.com/invite/kqFzFK7fg2

поддерживаемые io.net устройства