欢迎光临
我们一直在努力

使用亚马逊云服务器EC2做深度学习(三)配置TensorFlow

这是《使用亚马逊云服务器EC2做深度学习》系列的第三篇文章。

(一)申请竞价实例  (二)配置Jupyter Notebook服务器  (三)配置TensorFlow  (四)配置好的系统镜像

使用亚马逊云服务器EC2做深度学习(三)配置TensorFlow

TensorFlow是Google发布的深度学习框架,支持Python和C++的接口。TensorFlow既可以用于学术研究,也可以用于生产环境。许多Google的内部服务,就使用了TensorFlow,比如Gmail、语音识别等。

网络上TensorFlow的教程也很丰富,官方文档在第一时间就被翻译成来中文。

如果让我来评价一下的话,我会说Google出品必属精品。

 

配置TensorFlow的环境,需要安装很多GPU的驱动,非常繁琐。下面的配置脚本是我根据其它教程提供的脚本修改而来。

配置中操作系统的版本是Ubuntu14.04,TensorFlow的版本是目前的最新版本0.11,Python使用的是Anaconda3发行版,Python的版本是Python3.5。

一个注意事项是,选择AWS EC2的区的时候,尽量选择美国或者欧洲地区,不然下载驱动的速度比较慢,需要耗费很长时间。

(1)更新系统,安装必要文件

# install the required packages sudo apt-get update && sudo apt-get -y upgrade sudo apt-get -y install linux-headers-$(uname -r) linux-image-extra-`uname -r`

(2)安装cuda 7.5

# install cuda 7.5 CUDA_file=cuda-repo-ubuntu1404_7.5-18_amd64.deb wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/${CUDA_FILE} sudo dpkg -i ${CUDA_FILE} rm ${CUDA_FILE} sudo apt-get update sudo apt-get install -y cuda-7-5

(3)安装cudnn 5.1

# get cudnn 5.1 CUDNN_FILE=cudnn-7.5-linux-x64-v5.1.tgz wget http://developer.download.nvidia.com/compute/redist/cudnn/v5.1/${CUDNN_FILE} tar xvzf ${CUDNN_FILE} rm ${CUDNN_FILE} sudo cp cuda/include/cudnn.h /usr/local/cuda/include # move library files to /usr/local/cuda sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64 sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn* rm -rf cuda

(4)添加环境变量

# set the appropriate library path echo 'export CUDA_HOME=/usr/local/cuda export CUDA_ROOT=/usr/local/cuda export PATH=$PATH:$CUDA_ROOT/bin:$HOME/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CUDA_ROOT/lib64 ' >> ~/.bashrc

(5)安装Anaconda

# install anaconda ANACONDA_FILE=Anaconda3-4.2.0-Linux-x86_64.sh wget https://repo.continuum.io/archive/${ANACONDA_FILE} bash ${ANACONDA_FILE} -b -p /mnt/bin/anaconda3 rm ${ANACONDA_FILE} echo 'export PATH="/mnt/bin/anaconda3/bin:$PATH"' >> ~/.bashrc

(6)安装TensorFlow

# install tensorflow TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.11.0rc0-cp35-cp35m-linux_x86_64.whl /mnt/bin/anaconda3/bin/pip install $TF_BINARY_URL

exec bash

 

下面是完整的配置脚本:

#!/bin/bash # stop on error set -e ############################################ # install into /mnt/bin sudo mkdir -p /mnt/bin sudo chown ubuntu:ubuntu /mnt/bin # install the required packages sudo apt-get update && sudo apt-get -y upgrade sudo apt-get -y install linux-headers-$(uname -r) linux-image-extra-`uname -r` # install cuda 7.5 CUDA_FILE=cuda-repo-ubuntu1404_7.5-18_amd64.deb wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/${CUDA_FILE} sudo dpkg -i ${CUDA_FILE} rm ${CUDA_FILE} sudo apt-get update sudo apt-get install -y cuda-7-5 # get cudnn 5.1 CUDNN_FILE=cudnn-7.5-linux-x64-v5.1.tgz wget http://developer.download.nvidia.com/compute/redist/cudnn/v5.1/${CUDNN_FILE} tar xvzf ${CUDNN_FILE} rm ${CUDNN_FILE} sudo cp cuda/include/cudnn.h /usr/local/cuda/include # move library files to /usr/local/cuda sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64 sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn* rm -rf cuda # set the appropriate library path echo 'export CUDA_HOME=/usr/local/cuda export CUDA_ROOT=/usr/local/cuda export PATH=$PATH:$CUDA_ROOT/bin:$HOME/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CUDA_ROOT/lib64 ' >> ~/.bashrc  # install anaconda ANACONDA_FILE=Anaconda3-4.2.0-Linux-x86_64.sh wget https://repo.continuum.io/archive/${ANACONDA_FILE} bash ${ANACONDA_FILE} -b -p /mnt/bin/anaconda3 rm ${ANACONDA_FILE} echo 'export PATH="/mnt/bin/anaconda3/bin:$PATH"' >> ~/.bashrc # install tensorflow TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.11.0rc0-cp35-cp35m-linux_x86_64.whl /mnt/bin/anaconda3/bin/pip install $TF_BINARY_URL # install monitoring programs #sudo wget https://git.io/gpustat.py -O /usr/local/bin/gpustat #sudo chmod +x /usr/local/bin/gpustat #sudo nvidia-smi daemon #sudo apt-get -y install htop # reload .bashrc exec bash

 

  • 海报
海报图正在生成中...
赞(0) 打赏
声明:
1、本博客不从事任何主机及服务器租赁业务,不参与任何交易,也绝非中介。博客内容仅记录博主个人感兴趣的服务器测评结果及一些服务器相关的优惠活动,信息均摘自网络或来自服务商主动提供;所以对本博客提及的内容不作直接、间接、法定、约定的保证,博客内容也不具备任何参考价值及引导作用,访问者需自行甄别。
2、访问本博客请务必遵守有关互联网的相关法律、规定与规则;不能利用本博客所提及的内容从事任何违法、违规操作;否则造成的一切后果由访问者自行承担。
3、未成年人及不能独立承担法律责任的个人及群体请勿访问本博客。
4、一旦您访问本博客,即表示您已经知晓并接受了以上声明通告。
文章名称:《使用亚马逊云服务器EC2做深度学习(三)配置TensorFlow》
文章链接:https://www.456zj.com/3558.html
本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址