Org Org Org Org Org Org Org Org

おうち　じかん

Org Org Org Org Org Org Org Org

機械学習用サーバ構築

  • slide
Skills: Ubuntu 20
GPU Server
VMWare ESXi
機械学習
ディープラーニング

本ページは広告やPRを掲載しています

機械学習用サーバ構築

目次

  1. 構築環境

  2. 仮想マシン作成

  3. OSインストール

  4. OS設定

  5. GPU利用確認

  6. 参考教材

構築環境

今回は機械学習用のサーバを構築していきます。

手順に関してはある程度ESXi やUbuntuの知識がある前提で構築を進めてます。

抜け漏れあるかもしれませんが、ご容赦ください。

 

以下の構成でサーバを構築しています。※参考までに Amazonへリンクしてます。

 

仮想マシン作成

１．GPUパススルー設定

１－１．ESXiへログインする

 

１－２．「ホスト」-「管理」-「ハードウェア」-「PCIデバイス」からデバイス確認

　以下チェック項目

　□ GPUが認識されているか

※ 認識されていない場合はサーバの電源を落として、

接続と電源がGPUに送電されているか確認してください。

　□ GPUのパススルーがアクティブになっているか

※「有効／再起動が必要」となっている場合は以下の手順で、

「アクティブ」にしてください。

 

・GPUが認識されていてパススルーがアクティブとなっている場合（正常）

　※ GPUが認識されていない場合は表示されないため、接続を確認してください。

 

・GPUが認識されているが、パススルーに「有効／再起動が必要」が表示されている場合

１．該当デバイスを選択し☑を入れる

２．「パススルーの切り替え」を行い、パススルーを無効しする（下へ続く）

 

３．パススルーが無効になっていることを確認し、該当デバイスを選択し☑を入れる

４．「パススルーの切り替え」を行い、先ほどの正常となっている事を確認する

 

１－３．仮想マシン作成

「仮想マシン」を右クリックー「仮想マシンの作成／登録」をクリック

 

 

１－４．作成タイプの選択

「新規仮想マシンの作成」をクリックする

 

１－５．名前とゲストOSの選択

名前：hoge-ubu20n （任意）

互換性：ESXi7.0 U2 仮想マシン

ゲストOSファミリ：Linux

ゲストOSのバージョン：Ubuntu Linux（64 ビット）

 

１－６．ストレージの選択

ストレージを選択：任意（画像ではVM用に用意したストレージを選択してます）

 

１－７．設定のカスタマイズ

CPU：任意（今回は2コア割り当ててます）

ハードウェア仮想化：□ ハードウェアアシストによる仮想化をゲストOSに公開

※チェック外す

 

メモリ：

RAM：任意（今回は25GB割り当ててます）

予約：☑すべてのゲストメモリを予約（すべてロック）

※チェックする

 

 

ハードディスク：任意（今回は150GB割り当ててます）

ネットワークアダプタ１：任意（アップデートするので外部通信可能ポート）

CD／DVDドライブ１：任意（ISOか物理ディスクにUbuntuをセット）

 

その他のデバイス追加：PCIデバイス の割当（GPUデバイスすべて割当）

・そのほかのデバイスの追加をクリック

・PCIデバイスをクリック

 

 

 

仮想マシンオプション：設定パラメータ【設定の編集】

パラメータの追加 キー：hypervisor.cpuid.v0

値：FALSE

 

 

１－８．設定の確認

設定の確認し問題なければ【完了】をクリックします。

OSインストール

２－１．仮想マシン起動

２－２．Webコンソールの起動

 

２－３．言語設定

Englishを設定

※画面上には Japanese がないため、Englishを設定

 

２－４．Keyboard 設定

Layout：Japanesewo 選択

Variant：Japanesewo 選択

 

２－５．Network 設定

インターフェース：ens224 eth - （※インターフェース名は環境によって違います）

 

・Edit IPv4 選択

 

・Manual選択

 

・Subnet：任意

・Address：任意

・Gatewey：任意

・Name Servers：任意

・Search domains：任意

　設定が決まったら、「Save」を押下する

 

２－６．プロキシ設定

Porxy address：任意（省略可）

 

２－７．アーカイブミラー設定

Mirror address ：デフォルトのまま

 

 

２－７．ストレージ設定

Use an entire disk

root ボリュームを初期設定から最大値迄設定する

※画像ではroot ボリュームを（/）150GBまで拡張しています。

 

２－８．プロファイル設定

Your Name：ユーザ名

Your server's name：サーバ名

Pick a username：ログインユーザ名

Choose password：ログインパスワード

Confirm your password：パスワード確認

 

２－９．SSH 設定

[X] Install Open SSH server 

チェックを入れる

 

２－１０．OSインストール開始

Install Complete が表示されるまでひたすら待ちます。

 

２－１１．インストール完了

Install complete と表示されたらOS再起動し、無事起動できたら完了です。

 

OS設定

３－１．OSアップデート

# システムアップデート
$ sudo apt update
$ sudo apt list --upgradable
$ sudo apt upgrade

# 再起動
$ sudo reboot

３－２．パッケージインストール

$ sudo add-apt-repository ppa:graphics-drivers/ppa
$ sudo apt install -y gcc libncurses5-dev libxml2-dev libxmlsec1-dev libffi-dev vim csh flex gfortran g++ cmake xorg-dev patch zlib1g-dev libbz2-dev libboost-all-dev openssh-server libcairo2 libcairo2-dev libeigen3-dev lsb-core lsb-base net-tools network-manager git-core git-gui git-doc xclip gdebi-core make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm  libncursesw5-dev xz-utils tk-dev liblzma-dev python-openssl curl
$ sudo apt update

３－３．NVIDIAドライバーインストール

# blacklist-nvidia-nouveau.conf ファイルを作成
sudo touch /etc/modprobe.d/blacklist-nvidia-nouveau.conf

# ファイル編集し「 ==== 」内の値を記入する
sudo vi /etc/modprobe.d/blacklist-nvidia-nouveau.conf
=======================================================
blacklist nouveau
options nouveau modeset=0
=======================================================

# 設定の確認
$ sudo cat /etc/modprobe.d/blacklist-nvidia-nouveau.conf

# 設定反映
$ sudo update-initramfs -u

# 再起動
$ sudo reboot

３－４．ドライバの確認とインストール

# ドライバ確認用パッケージインストール
$ sudo apt install ubuntu-drivers-common

# 推奨ドライバー確認
$ sudo ubuntu-drivers devices
=======================================================
modalias : pci:v000010DEd00002504sv00001462sd0000397Dbc03sc00i00
vendor   : NVIDIA Corporation
driver   : nvidia-driver-460 - distro non-free
driver   : nvidia-driver-460-server - distro non-free
driver   : nvidia-driver-470 - distro non-free recommended
driver   : nvidia-driver-470-server - distro non-free
driver   : xserver-xorg-video-nouveau - distro free builtin
=======================================================

# 最新のserverドライバをインストール
$ sudo apt install nvidia-driver-470-server

# 再起動
$ sudo reboot

# ドライバ確認
$ nvidia-smi
=======================================================
Wed Aug 18 04:56:26 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.57.02    Driver Version: 470.57.02    CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:03:00.0 Off |                  N/A |
|  0%   34C    P8    11W / 170W |   1983MiB / 12053MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1013      G   /usr/lib/xorg/Xorg                  4MiB |
|    0   N/A  N/A      1477      C   ...oge/miniconda3/bin/python     1975MiB |
+-----------------------------------------------------------------------------+

=======================================================

３－５．condaインストール

# conda をダウンロード
$ wget https://repo.anaconda.com/miniconda/Miniconda3-py38_4.9.2-Linux-x86_64.sh
# ダウンロードしたファイルを実行し、minicondaをインストール
$ bash Miniconda3-py38_4.9.2-Linux-x86_64.sh
=======================================================
Please, press ENTER to continue 【Enterキー押下】
～・～・～・～・～・省略 ～・～・～・～・～・～・
Do you accept the license terms? [yes|no]
[no] >>> yes ← と入力
～・～・～・～・～・省略 ～・～・～・～・～・～・
[/home/hoge/miniconda3] >>> 【Enterキー押下】
※ インストールシェル実行ユーザのhomeディレクトリ配下にインストールされる
～・～・～・～・～・省略 ～・～・～・～・～・～・
by running conda init? [yes|no]
[no] >>> yes ← と入力
=======================================================

３－６．condaモジュールインストール

# spacy をインストール
$ conda install -c conda-forge spacy
# en_core_web_sm をインストール
$ python -m spacy download en_core_web_sm
# pystan をインストール
$ conda install -c conda-forge pystan

３－７．PIPインストール

# 標準pipとモジュールをインストール
sudo apt install python3-pip
sudo apt install python3-pandas

# curl で最新版ダウンロード
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

=== pip の紐づけ（Python バージョン選択する）
# python3.7に紐づける場合
sudo python3.7 get-pip.py（18.04）
# python3.8に紐づける場合
sudo python3.8 get-pip.py（20.04）

# pip バージョン確認 （上記紐づけによって、参照先が変わってます）
pip3 --version
======================================================
・python 3.7 の場合
pip 21.2.3 from /home/hoge/miniconda3/lib/python3.7/site-packages/pip (python 3.7)
・python 3.8 の場合
pip 21.2.4 from /home/hoge/miniconda3/lib/python3.8/site-packages/pip (python 3.8)
======================================================
※エラーが出て表示されない場合は「エラー対処法」を参照ください
※上記はhogeユーザでの例です。実行ユーザによってpathは異なるので注意ください。

# pip モジュール確認（動作確認）
pip3 list

 

エラー対処法

pip バージョン確認やモジュール確認で以下のエラーが出た場合の対処法
======================================================
(base) hoge@hoge:~$ pip list
Traceback (most recent call last):
  File "/home/hoge/miniconda3/bin/pip", line 7, in <module>
    from pip._internal.cli.main import main
  File "/home/hoge/miniconda3/lib/python3.8/site-packages/pip/_internal/cli/main.py", line 10, in <module>
    from pip._internal.cli.autocompletion import autocomplete
  File "/home/hoge/miniconda3/lib/python3.8/site-packages/pip/_internal/cli/autocompletion.py", line 9, in <module>
    from pip._internal.cli.main_parser import create_main_parser
  File "/home/hoge/miniconda3/lib/python3.8/site-packages/pip/_internal/cli/main_parser.py", line 7, in <module>
    from pip._internal.cli import cmdoptions
  File "/home/hoge/miniconda3/lib/python3.8/site-packages/pip/_internal/cli/cmdoptions.py", line 23, in <module>
    from pip._internal.cli.progress_bars import BAR_TYPES
  File "/home/hoge/miniconda3/lib/python3.8/site-packages/pip/_internal/cli/progress_bars.py", line 12, in <module>
    from pip._internal.utils.logging import get_indentation
  File "/home/hoge/miniconda3/lib/python3.8/site-packages/pip/_internal/utils/logging.py", line 18, in <module>
    from pip._internal.utils.misc import ensure_dir
  File "/home/hoge/miniconda3/lib/python3.8/site-packages/pip/_internal/utils/misc.py", line 33, in <module>
    from pip._internal.locations import (
  File "/home/hoge/miniconda3/lib/python3.8/site-packages/pip/_internal/locations.py", line 64, in <module>
    site_packages = sysconfig.get_path("purelib")  # type: Optional[str]
  File "/home/hoge/miniconda3/lib/python3.8/sysconfig.py", line 521, in get_path
    return get_paths(scheme, vars, expand)[name]
  File "/home/hoge/miniconda3/lib/python3.8/sysconfig.py", line 511, in get_paths
    return _expand_vars(scheme, vars)
  File "/home/hoge/miniconda3/lib/python3.8/sysconfig.py", line 172, in _expand_vars
    _extend_dict(vars, get_config_vars())
  File "/home/hoge/miniconda3/lib/python3.8/sysconfig.py", line 559, in get_config_vars
    _init_posix(_CONFIG_VARS)
  File "/home/hoge/miniconda3/lib/python3.8/sysconfig.py", line 430, in _init_posix
    _temp = __import__(name, globals(), locals(), ['build_time_vars'], 0)
ModuleNotFoundError: No module named '_sysconfigdata_x86_64_conda_linux_gnu' ★   
======================================================
★_sysconfigdata_x86_64_conda_linux_gnu モジュールが見つからないとエラーが出る

 ・sudo find / -name _sysconfigdata_x86_64* でモジュールを探す
======================================================
 (base) hoge@hoge:~$ sudo find / -name _sysconfigdata_x86_64*
 [sudo] password for hoge:
 /home/hoge/miniconda3/pkgs/python-3.8.5-h7579374_1/info/recipe/sysconfigdata/_sysconfigdata_x86_64_conda_cos6_linux_gnu.py
 /home/hoge/miniconda3/pkgs/python-3.8.5-h7579374_1/info/recipe/sysconfigdata/_sysconfigdata_x86_64_apple_darwin13_4_0.py
 /home/hoge/miniconda3/pkgs/python-3.8.5-h7579374_1/lib/python3.8/__pycache__/_sysconfigdata_x86_64_apple_darwin13_4_0.cpython-38.pyc
 /home/hoge/miniconda3/pkgs/python-3.8.5-h7579374_1/lib/python3.8/__pycache__/_sysconfigdata_x86_64_conda_cos6_linux_gnu.cpython-38.pyc
 /home/hoge/miniconda3/pkgs/python-3.8.5-h7579374_1/lib/python3.8/_sysconfigdata_x86_64_conda_cos6_linux_gnu.py
 /home/hoge/miniconda3/pkgs/python-3.8.5-h7579374_1/lib/python3.8/_sysconfigdata_x86_64_apple_darwin13_4_0.py
 /home/hoge/miniconda3/lib/python3.8/__pycache__/_sysconfigdata_x86_64_apple_darwin13_4_0.cpython-38.pyc
 /home/hoge/miniconda3/lib/python3.8/__pycache__/_sysconfigdata_x86_64_conda_cos6_linux_gnu.cpython-38.pyc
 /home/hoge/miniconda3/lib/python3.8/_sysconfigdata_x86_64_conda_cos6_linux_gnu.py ★ もとになるモジュール
 /home/hoge/miniconda3/lib/python3.8/_sysconfigdata_x86_64_apple_darwin13_4_0.py
 ======================================================

 ・階層移動
$ cd /home/hoge/miniconda3/lib/python3.8/
 
 ・モジュール名を変更してコピー
$ cp _sysconfigdata_x86_64_conda_cos6_linux_gnu.py _sysconfigdata_x86_64_conda_linux_gnu.py

・pip 動作確認
$ pip3 list
  Package                       Version
  ----------------------------- -------------------
  absl-py                       0.12.0
  aiohttp                       3.7.4.post0
  ～・～・～・～・～・ 省略 ～・～・～・～・～・～・
  ----------------------------- -------------------

 

３－８．PIPモジュールインストール

・pipモジュールインストール（バージョン指定）
======================================================
pip3 install absl-py==0.12.0
pip3 install alabaster==0.7.12
pip3 install albumentations==0.1.12
pip3 install altair==4.1.0
pip3 install appdirs==1.4.4
pip3 install argon2-cffi==20.1.0
pip3 install arviz==0.11.2
pip3 install astor==0.8.1
pip3 install astropy==4.2.1
pip3 install astunparse==1.6.3
pip3 install async-generator==1.10
pip3 install atari-py==0.2.9
pip3 install atomicwrites==1.4.0
pip3 install attrs==21.2.0
pip3 install audioread==2.1.9
pip3 install autograd==1.3
pip3 install Babel==2.9.1
pip3 install backcall==0.2.0
pip3 install beautifulsoup4==4.6.3
pip3 install bleach==4.0.0
pip3 install blis==0.4.1
pip3 install bokeh==2.3.3
pip3 install Bottleneck==1.3.2
pip3 install branca==0.4.2
pip3 install brotlipy==0.7.0
pip3 install bs4==0.0.1
pip3 install CacheControl==0.12.6
pip3 install cached-property==1.5.2
pip3 install cachetools==4.2.2
pip3 install catalogue==1.0.0
pip3 install certifi==2021.5.30
pip3 install cffi==1.14.6
pip3 install cftime==1.5.0
pip3 install chardet==3.0.4
pip3 install charset-normalizer==2.0.2
pip3 install clang==5.0
pip3 install click==7.1.2
pip3 install cloudpickle==1.3.0
pip3 install cmdstanpy==0.9.5
pip3 install colorcet==2.0.6
pip3 install colorlover==0.3.0
pip3 install community==1.0.0b1
pip3 install conda==4.10.3
pip3 install conda-package-handling==1.7.2
pip3 install contextlib2==0.5.5
pip3 install convertdate==2.3.2
pip3 install coverage==3.7.1
pip3 install coveralls==0.5
pip3 install crcmod==1.7
pip3 install cryptography==3.2.1
pip3 install cufflinks==0.17.3
pip3 install cvxopt==1.2.6
pip3 install cvxpy==1.0.31
pip3 install cycler==0.10.0
pip3 install cymem==2.0.5
pip3 install Cython==0.29.23
pip3 install daft==0.0.4
pip3 install dask==2.12.0
pip3 install datascience==0.10.6
pip3 install debugpy==1.0.0
pip3 install decorator==5.0.9
pip3 install defusedxml==0.7.1
pip3 install descartes==1.1.0
pip3 install dill==0.3.4
pip3 install distributed==1.25.3
pip3 install dlib==19.18.0
pip3 install dm-tree==0.1.6
pip3 install docopt==0.6.2
pip3 install docutils==0.17.1
pip3 install dopamine-rl==1.0.5
pip3 install earthengine-api==0.1.272
pip3 install easydict==1.9
pip3 install ecos==2.0.7.post1
pip3 install editdistance==0.5.3
pip3 install entrypoints==0.3
pip3 install ephem==4.0.0.2
pip3 install et-xmlfile==1.1.0
pip3 install fa2==0.3.5
pip3 install fastai==1.0.61
pip3 install fastdtw==0.3.4
pip3 install fastprogress==1.0.0
pip3 install fastrlock==0.6
pip3 install feather-format==0.4.1
pip3 install filelock==3.0.12
pip3 install firebase-admin==4.4.0
pip3 install fix-yahoo-finance==0.0.22
pip3 install Flask==1.1.4
pip3 install flatbuffers==1.12
pip3 install folium==0.8.3
pip3 install future==0.16.0
pip3 install gast==0.4.0
pip3 install gdown==3.6.4
pip3 install gensim==3.6.0
pip3 install geographiclib==1.52
pip3 install geopy==1.17.0
pip3 install gin-config==0.4.0
pip3 install glob2==0.7
pip3 install google==2.0.3
pip3 install google-api-core==1.26.3
pip3 install google-api-python-client==1.12.8
pip3 install google-auth==1.34.0
pip3 install google-auth-httplib2==0.0.4
pip3 install google-auth-oauthlib==0.4.4
pip3 install google-cloud-bigquery==1.21.0
pip3 install google-cloud-bigquery-storage==1.1.0
pip3 install google-cloud-core==1.0.3
pip3 install google-cloud-datastore==1.8.0
pip3 install google-cloud-firestore==1.7.0
pip3 install google-cloud-language==1.2.0
pip3 install google-cloud-storage==1.18.1
pip3 install google-cloud-translate==1.5.0
pip3 install google-crc32c==1.1.2
pip3 install google-pasta==0.2.0
pip3 install google-resumable-media==0.4.1
pip3 install googleapis-common-protos==1.53.0
pip3 install googledrivedownloader==0.4
pip3 install graphviz==0.10.1
pip3 install greenlet==1.1.0
pip3 install grpcio==1.34.1
pip3 install gspread==3.0.1
pip3 install gspread-dataframe==3.0.8
pip3 install gym==0.17.3
pip3 install h5py==3.1.0
pip3 install HeapDict==1.0.1
pip3 install hijri-converter==2.1.3
pip3 install holidays==0.10.5.2
pip3 install holoviews==1.14.4
pip3 install html5lib==1.0.1
pip3 install httpimport==0.5.18
pip3 install httplib2==0.17.4
pip3 install httplib2shim==0.0.3
pip3 install humanize==0.5.1
pip3 install hyperopt==0.1.2
pip3 install idna==2.10
pip3 install imageio==2.4.1
pip3 install imagesize==1.2.0
pip3 install imbalanced-learn==0.4.3
pip3 install imblearn==0.0
pip3 install imgaug==0.2.9
pip3 install importlib-metadata==4.6.1
pip3 install importlib-resources==5.2.0
pip3 install imutils==0.5.4
pip3 install inflect==2.1.0
pip3 install iniconfig==1.1.1
pip3 install install==1.3.4
pip3 install intel-openmp==2021.3.0
pip3 install intervaltree==2.1.0
pip3 install ipykernel==5.3.4
pip3 install ipython==7.26.0
pip3 install ipython-genutils==0.2.0
pip3 install ipython-sql==0.3.9
pip3 install ipywidgets==7.6.3
pip3 install itsdangerous==1.1.0
pip3 install Janome==0.4.1
pip3 install jax==0.2.17
pip3 install jdcal==1.4.1
pip3 install jedi==0.18.0
pip3 install jieba==0.42.1
pip3 install Jinja2==3.0.1
pip3 install joblib==1.0.1
pip3 install jpeg4py==0.1.4
pip3 install jsonschema==3.2.0
pip3 install jupyter==1.0.0
pip3 install jupyter-client==6.1.12
pip3 install jupyter-console==6.4.0
pip3 install jupyter-core==4.7.1
pip3 install jupyterlab-pygments==0.1.2
pip3 install jupyterlab-widgets==1.0.0
pip3 install kaggle==1.5.12
pip3 install kapre==0.3.5
pip3 install keras==2.6.0
pip3 install keras-nightly==2.5.0.dev2021032900
pip3 install Keras-Preprocessing==1.1.2
pip3 install keras-vis==0.4.1
pip3 install kiwisolver==1.3.1
pip3 install korean-lunar-calendar==0.2.1
pip3 install librosa==0.8.1
pip3 install lightgbm==2.2.3
pip3 install llvmlite==0.34.0
pip3 install lmdb==0.99
pip3 install LunarCalendar==0.0.9
pip3 install lxml==4.2.6
pip3 install Markdown==3.3.4
pip3 install MarkupSafe==2.0.1
pip3 install matplotlib==3.2.2
pip3 install matplotlib-inline==0.1.2
pip3 install matplotlib-venn==0.11.6
pip3 install missingno==0.5.0
pip3 install mistune==0.8.4
pip3 install mizani==0.6.0
pip3 install mkl==2019.0
pip3 install mlxtend==0.14.0
pip3 install more-itertools==8.8.0
pip3 install moviepy==0.2.3.5
pip3 install mpmath==1.2.1
pip3 install msgpack==1.0.2
pip3 install multiprocess==0.70.12.2
pip3 install multitasking==0.0.9
pip3 install murmurhash==1.0.5
pip3 install music21==5.5.0
pip3 install natsort==5.5.0
pip3 install nbclient==0.5.3
pip3 install nbconvert==6.1.0
pip3 install nbformat==5.1.3
pip3 install nest-asyncio==1.5.1
pip3 install netCDF4==1.5.7
pip3 install networkx==2.5.1
pip3 install nibabel==3.0.2
pip3 install nltk==3.2.5
pip3 install notebook==6.4.2
pip3 install numba==0.51.2
pip3 install numexpr==2.7.3
pip3 install numpy==1.19.5
pip3 install nvidia-ml-py3==7.352.0
pip3 install oauth2client==4.1.3
pip3 install oauthlib==3.1.1
pip3 install okgrade==0.4.3
pip3 install opencv-contrib-python==4.1.2.30
pip3 install opencv-python==4.1.2.30
pip3 install openpyxl==2.5.9
pip3 install opt-einsum==3.3.0
pip3 install osqp==0.6.2.post0
pip3 install packaging==21.0
pip3 install palettable==3.3.0
pip3 install pandas==1.1.5
pip3 install pandas-datareader==0.9.0
pip3 install pandas-gbq==0.13.3
pip3 install pandas-profiling==1.4.1
pip3 install pandocfilters==1.4.3
pip3 install panel==0.11.3
pip3 install param==1.11.1
pip3 install parso==0.8.2
pip3 install pathlib==1.0.1
pip3 install patsy==0.5.1
pip3 install pexpect==4.8.0
pip3 install pickleshare==0.7.5
pip3 install Pillow==7.1.2
pip3 install pip==21.2.4
pip3 install pip-tools==4.5.1
pip3 install plac==1.1.3
pip3 install plotly==4.4.1
pip3 install plotnine==0.6.0
pip3 install pluggy==0.7.1
pip3 install pooch==1.4.0
pip3 install portpicker==1.3.9
pip3 install prefetch-generator==1.0.1
pip3 install preshed==3.0.5
pip3 install prettytable==2.1.0
pip3 install progressbar2==3.38.0
pip3 install prometheus-client==0.11.0
pip3 install promise==2.3
pip3 install prompt-toolkit==3.0.17
pip3 install proto-plus==1.19.0
pip3 install protobuf==3.17.3
pip3 install psutil==5.4.8
pip3 install ptyprocess==0.7.0
pip3 install py==1.10.0
pip3 install pyarrow==3.0.0
pip3 install pyasn1==0.4.8
pip3 install pyasn1-modules==0.2.8
pip3 install pycocotools==2.0.2
pip3 install pycosat==0.6.3
pip3 install pycparser==2.20
pip3 install pyct==0.4.8
pip3 install pydata-google-auth==1.2.0
pip3 install pydot==1.3.0
pip3 install pydot-ng==2.0.0
pip3 install pydotplus==2.0.2
pip3 install PyDrive==1.3.1
pip3 install pyemd==0.5.1
pip3 install pyerfa==2.0.0
pip3 install pyglet==1.5.0
pip3 install Pygments==2.9.0
pip3 install pymc3==3.11.2
pip3 install PyMeeus==0.5.11
pip3 install pymongo==3.11.4
pip3 install pymystem3==0.2.0
pip3 install PyOpenGL==3.1.5
pip3 install pyOpenSSL==19.1.0
pip3 install pyparsing==2.4.7
pip3 install pyrsistent==0.18.0
pip3 install PySocks==1.7.1
pip3 install pystan==2.19.1.1
pip3 install pytest==3.6.4
pip3 install python-chess==0.23.11
pip3 install python-dateutil==2.8.2
pip3 install python-louvain==0.15
pip3 install python-slugify==5.0.2
pip3 install python-utils==2.5.6
pip3 install pytz==2018.9
pip3 install pyviz-comms==2.1.0
pip3 install PyWavelets==1.1.1
pip3 install PyYAML==3.13
pip3 install pyzmq==22.2.1
pip3 install qdldl==0.1.5.post0
pip3 install qtconsole==5.1.1
pip3 install QtPy==1.9.0
pip3 install regex==2019.12.20
pip3 install requests==2.23.0
pip3 install requests-oauthlib==1.3.0
pip3 install resampy==0.2.2
pip3 install retrying==1.3.3
pip3 install rsa==4.7.2
pip3 install ruamel_yaml==0.15.87
pip3 install scikit-image==0.16.2
pip3 install scikit-learn==0.22.2.post1
pip3 install scipy==1.4.1
pip3 install scs==2.1.4
pip3 install seaborn==0.11.1
pip3 install semver==2.13.0
pip3 install Send2Trash==1.7.1
pip3 install sentencepiece==0.1.96
pip3 install setuptools==57.2.0
pip3 install setuptools-git==1.2
pip3 install Shapely==1.7.1
pip3 install simplegeneric==0.8.1
pip3 install sip==4.19.13
pip3 install six==1.15.0
pip3 install sklearn==0.0
pip3 install sklearn-pandas==1.8.0
pip3 install smart-open==5.1.0
pip3 install snowballstemmer==2.1.0
pip3 install sortedcontainers==2.4.0
pip3 install SoundFile==0.10.3.post1
pip3 install spacy==2.2.4
pip3 install Sphinx==1.8.5
pip3 install sphinxcontrib-applehelp==1.0.2
pip3 install sphinxcontrib-devhelp==1.0.2
pip3 install sphinxcontrib-htmlhelp==2.0.0
pip3 install sphinxcontrib-jsmath==1.0.1
pip3 install sphinxcontrib-qthelp==1.0.3
pip3 install sphinxcontrib-serializinghtml==1.1.5
pip3 install sphinxcontrib-websupport==1.2.4
pip3 install SQLAlchemy==1.4.20
pip3 install sqlparse==0.4.1
pip3 install srsly==1.0.5
pip3 install statsmodels==0.10.2
pip3 install sympy==1.7.1
pip3 install tabulate==0.8.9
pip3 install tblib==1.7.0
pip3 install tenacity==8.0.1
pip3 install tensorboard==2.6.0
pip3 install tensorboard-data-server==0.6.1
pip3 install tensorboard-plugin-wit==1.8.0
pip3 install tensorflow==2.5.0
pip3 install tensorflow-datasets==4.0.1
pip3 install tensorflow-estimator==2.5.0
pip3 install tensorflow-gcs-config==2.5.0
pip3 install tensorflow-gpu==2.5.0
pip3 install tensorflow-hub==0.12.0
pip3 install tensorflow-metadata==1.1.0
pip3 install tensorflow-probability==0.13.0
pip3 install termcolor==1.1.0
pip3 install terminado==0.10.1
pip3 install testpath==0.5.0
pip3 install text-unidecode==1.3
pip3 install textblob==0.15.3
pip3 install Theano-PyMC==1.1.2
pip3 install thinc==7.4.0
pip3 install threadpoolctl==2.2.0
pip3 install tifffile==2021.7.2
pip3 install toml==0.10.2
pip3 install toolz==0.11.1
pip3 install torch==1.7.1+cu110
pip3 install torchaudio==0.7.2
pip3 install torchsummary==1.5.1
pip3 install torchtext==0.8.1
pip3 install torchvision==0.8.2+cu110
pip3 install tornado==6.1
pip3 install tqdm==4.41.1
pip3 install traitlets==5.0.5
pip3 install tweepy==3.10.0
pip3 install typeguard==2.7.1
pip3 install typing-extensions==3.7.4.3
pip3 install tzlocal==1.5.1
pip3 install uritemplate==3.0.1
pip3 install urllib3==1.24.3
pip3 install vega-datasets==0.9.0
pip3 install wasabi==0.8.2
pip3 install wcwidth==0.2.5
pip3 install webencodings==0.5.1
pip3 install Werkzeug==1.0.1
pip3 install wheel==0.36.2
pip3 install widgetsnbextension==3.5.1
pip3 install wordcloud==1.5.0
pip3 install wrapt==1.12.1
pip3 install xarray==0.18.2
pip3 install xgboost==0.90
pip3 install xlrd==1.1.0
pip3 install xlwt==1.3.0
pip3 install yellowbrick==0.9.1
pip3 install zict==2.0.0
pip3 install zipp==3.5.0
======================================================
※ 途中エラーが出てもそのまま次へ進んでください。

# pytorch バージョン指定（上記ではインストールできないため下記方法でインストール）
======================================================
pip3 install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 torchtext==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html
pip3 install --pre torch torchvision torchaudio -f https://download.pytorch.org/whl/nightly/cu110/torch_nightly.html
======================================================

３－９．Jupyter Notebook 設定

# jupyter notebook ログイン用パスワード生成
$ ipython

In [1]: from notebook.auth import passwd
In [2]: passwd()
Enter password: パスワードを入力
Verify password: 確認用パスワードを入力
Out[2]: 'sha1:0263xxxxxxxxxxxxxxxxxxxxxxxxxxx31y' ← これを控えて置きます。
In [3]: exit()

 

# jupyter notebook 設定
※ 下記はhogeユーザでの例です。実行ユーザによってpathは異なるので注意ください。
$ jupyter notebook --generate-config
  Writing default config to: /home/hoge/.jupyter/jupyter_notebook_config.py ★ ここに設定用ファイルが生成されます。

# 設定編集
vi /home/hoge/.jupyter/jupyter_notebook_config.py
======================================================
# 新規追加
c = get_config()
c.IPKernelApp.pylab = 'inline'

# 編集
c.NotebookApp.ip = '0.0.0.0'
c.NotebookApp.password = 'sha1:0263xxxxxxxxxxxxxxxxxxxxxxxxxxx31y' #先ほど控えた暗号化パスワードを入力
c.NotebookApp.open_browser = False
c.NotebookApp.port = '8888' # ブラウザの接続用ポート

======================================================

３－１０．Jupyter Notebook 起動確認

# jupyter notebook起動
$ jupyter notebook
======================================================
[I 07:25:23.840 NotebookApp] The port 8888 is already in use, trying another port.
[I 07:25:23.841 NotebookApp] Serving notebooks from local directory: /home/hoge/work
[I 07:25:23.841 NotebookApp] Jupyter Notebook 6.4.2 is running at:
[I 07:25:23.841 NotebookApp] http://hoge:8888/
[I 07:25:23.841 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
======================================================

# ブラウザを起動しログインする

 

 

GPU利用確認

４－１．Jupyter notebook から GPUが利用できるか確認

import torch
print(torch.__version__)
print(torch.cuda.is_available())
print(torch.cuda.device_count())
print(torch.cuda.current_device())
print(torch.cuda.get_device_name())
1.7.1+cu110 # torch バージョンが表示される
True        # GPUが利用できればTrue が返る
1           # 利用できるGPU 数を表示
0           # GPUデバイス番号が表示される。pytorch でデバイスを指定する際は cuda:0 と書く
NVIDIA GeForce RTX 3060  # GPUのデバイス名が表示される

 

参考教材

今回主にUdemyより、我妻講師のTwitterでボット作成する講義を買って、

マイサーバからツイできるようにしてます。

講義内容ではグーグルコラボラトリとレンタルサーバにボットを置く手順が出ておりました。

では、今回はこのあたりで失礼します。

 

機械学習で参考にしてる教材

 広告

 

[PR]みんなのAI講座 ゼロからPythonで学ぶ人工知能と機械学習

[PR]Python 3 入門+アメリカのシリコンバレー流コードスタイル

[PR]​​​​​​​はじめてのディープラーニング　Pythonで学ぶニューラルネットワークとバックプロパゲーション

[PR]​​​​​​​はじめてのディープラーニング2　Pythonで実装する再帰型ニューラルネットワーク

[PR]​​​​​​​いちばんやさしいPythonの教本 人気講師が教える基礎からサーバサイド開発まで

Related Projects
ネットワーク更改その２
rental_Server
ネットワーク更改その１