在 AWS EC2 上部署 MXNet：从申请 GPU 实例到运行深度学习的完整指南

人工智能深度学习机器学习【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mxne/mxnet点击查看免费下载本指南以 Apache MXNet 官方部署文档为核心完整讲解如何在 AWS 上申请 CPU/GPU 实例、借助 AWS Deep Learning AMI 一步到位地搭建深度学习环境并最终通过 SSH 登录、切换 conda 环境、验证 GPU 状态开始训练 MXNet 模型。读完本文你将掌握一套可直接落地的云端 MXNet 环境搭建流程并了解与 S3 数据集成、SageMaker 托管等替代方案的取舍。为什么选择在 AWS 上运行 MXNet深度学习往往需要极其强大的硬件且训练时长难以预测同时 MXNet 既可以从多 GPU 获益也可以扩展到多机分布式训练。云计算因此特别适合深度学习场景在 AWS 上我们可以随时按需启动多台带有多块 GPU 的机器并且只为实际使用的时长付费参见 MXNet on the Cloud。在 AWS 上使用 MXNet 主要有四条路径使用 Amazon SageMaker 托管服务使用带 Conda 环境的 AWS Deep Learning AMI使用 AWS Deep Learning Container 容器镜像在 AWS Deep Learning Base AMI 上自行安装 MXNet。本文聚焦第二条路径直接使用官方预置好的 Deep Learning AMI跳过繁琐的驱动与依赖安装最快进入模型开发阶段。准备工作AWS 账号与进入 EC2 控制台第一步你需要一个 AWS 账号。登录后进入 EC2 控制台EC2 Console随后点击 Launch instance启动实例按钮进入操作系统与实例类型的选择流程如上图所示。从 Deep Learning AMI 的官方说明可以看到AWS 提供预装了最新版本深度学习框架的镜像。Deep Learning AMI 具备以下特点提供所有必要的软件包和驱动程序包括 CUDA、cuDNN 等 GPU 相关组件允许你跳过环境配置直接开始实现和训练模型内置针对 AWS 实例优化过的二进制文件可加速模型训练和推理。本教程选用Deep Learning AMI (Ubuntu) Version 19.0作为基础镜像它在 Ubuntu 系统之上预装了完整的深度学习工具链。选择实例类型以 p2.xlarge 为例在实例类型Instance type选择页面本教程选择p2.xlarge该机型包含单块 Nvidia K80 GPU适合作为入门级的 GPU 训练环境。AWS 提供了数量庞大的实例型号从纯 CPU 实例到多 GPU 高性能实例应有尽有具体配置与计费可参考 ec2instances.info 进行详细对比。注意配额Instance Limits在发起请求前务必检查实例配额Instance Limits确认你有足够的资源额度。如果配额不足可以通过页面右侧的链接申请增加容量Request limit increase该申请通常需要大约一个工作日才能处理完成。配置存储从 8 GB 扩展到 40 GB在存储配置步骤教程将磁盘从默认的 8 GB 增加到40 GB以保证有足够空间存放规模合理的数据集。针对不同的数据规模与性能诉求官方文档给出了两条补充建议大规模数据集可以通过 Add new volume 添加新的数据卷把数据集存放在独立卷上高性能 I/O 需求如果你选择了非常强大的 GPU 实例例如p3.8xlarge请在卷类型Volume type中选择Provisioned IOPS以获得更好的 I/O 性能避免存储成为训练瓶颈。除上述调整外其余配置均保持默认值。密钥对与启动实例启动前的最后一步是选择SSH 密钥对key pair。如果你还没有密钥需要先生成并妥善保存私钥文件例如mu.pem——这是之后 SSH 登录实例的唯一凭证。点击 Launch instances 后页面会给出实例 ID并显示 Your instances are now launching 的启动状态提示。连接实例通过 SSH 登录实例启动后通过点击实例 ID 链接可以查看实例状态。当状态变为**绿色running**后右键点击实例并选择Connect即可获取 SSH 访问指令。使用给出的地址即可登录实例典型命令形式为ssh -i mu.pem ubuntuec2-xx-xxx-xxx-xxx.compute-1.amazonaws.com首次连接时终端会询问是否确认主机指纹输入yes即可继续随后成功进入 Ubuntu 系统。切换 conda 环境使用 MXNet登录后终端会展示一长串可用的conda 环境列表这些环境针对不同的深度学习框架、CUDA 驱动和 Python 版本进行了预配置。通过conda activate命令即可轻松切换环境。以下示例切换到 MXNet Python 3.6 环境conda activate mxnet_p36说明Deep Learning AMI 历史版本中也常使用source activate mxnet_p36这种激活方式两者效果等价具体以登录后终端提示的环境名为准。激活成功后可以立即验证 MXNet 是否就绪python -c import mxnet as mx; print(mx.__version__)若import mxnet as mx无任何报错说明 MXNet 已正确导入你可以开始在实例上开发并训练 MXNet 模型了。训练中监控 GPU 状态开始训练后可以通过nvidia-smi命令随时检查 GPU 状态原文档中的nividia-smi为笔误正确的命令为nvidia-sminvidia-smi该命令会输出 GPU 型号如 K80、显存占用、利用率、运行中的进程等信息帮助你确认训练确实运行在 GPU 上、排查显存不足等问题是云端训练日常监控最常用的工具。进阶路径S3 数据集成与 SageMaker 托管完成 EC2 环境搭建后还可以沿两个方向继续深入训练数据放 S3如果数据集较大或需要跨实例共享可将数据放在 Amazon S3 存储桶中直接用于训练参见仓库内的 Training with Data from S3学习如何让 MXNet 的数据迭代器DataIter直接读取 S3 上的数据改用 SageMaker 托管如果不想手动配置和 SSH 登录 EC2 实例可以参考同目录下的 Run on Amazon SageMaker通过 SageMaker SDK 的Estimator一键拉起训练集群、在 Docker 容器中完成训练并自动释放资源训练完成后用estimator.deploy(...)创建 HTTPS 推理端点。小结本文完整复现了 MXNet 官方文档的 EC2 部署流程从创建 AWS 账号、选择预装深度学习的 Deep Learning AMI、挑选带 K80 GPU 的 p2.xlarge 实例、扩容磁盘到 40 GB、配置密钥对并启动实例再到 SSH 登录、conda activate切换 MXNet Python 3.6 环境并用nvidia-smi监控训练。整套流程以 AWS 官方预置环境为依托几乎不需要手动安装任何依赖非常适合快速上手云端 GPU 训练而面对更大规模的数据与更复杂的训练任务则可以在此基础上叠加 S3 数据集成或迁移到 SageMaker 托管方案。赞分享人工智能深度学习机器学习【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mxne/mxnet点击查看免费下载相关推荐Ultralytics YOLOv5 在 AWS 深度学习实例上的完整部署指南从 EC2 启动到目标检测训练全流程Ultralytics YOLOv5 在 AWS 深度学习实例上的完整部署指南从 EC2 启动到目标检测训练全流程 对于刚接触深度学习的开发者来说在本地搭建人工智能计算机视觉深度学习机器学习预训练chinese-roberta-wwm-ext-large问答系统构建从零到一的完整指南chinese roberta wwm ext large问答系统构建从零到一的完整指南 chinese roberta wwm ext large是一款基于MXNet R 包mxnet从安装到在 R 中进行 GPU 深度学习实战指南MXNet R 包mxnet从安装到在 R 中进行 GPU 深度学习实战指南 导读 本文围绕 Apache MXNet 项目官方 R 语言包 R pac深度学习机器学习人工智能创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考