KUINS
[KUINS:クイーンズ]とは「京都大学学術情報ネットワーク機構」の略で、
簡単にいえば京大のネットワークシステムの総称(一部には使いづらいと評判の・・・)
http://www.kuins.kyoto-u.ac.jp/ja/index.php?%B5%FE%C5%D4%C2%E7%B3%D8%BE%F0%CA%F3%B4%C4%B6%AD%B5%A1%B9%BD%20KUINS%B1%BF%CD%D1%B0%D1%B0%F7%B2%F1
簡単にいえば京大のネットワークシステムの総称(一部には使いづらいと評判の・・・)
http://www.kuins.kyoto-u.ac.jp/ja/index.php?%B5%FE%C5%D4%C2%E7%B3%D8%BE%F0%CA%F3%B4%C4%B6%AD%B5%A1%B9%BD%20KUINS%B1%BF%CD%D1%B0%D1%B0%F7%B2%F1
MIAKO.netでVPN@KUINSネット内
サーバーアドレス : pptp0.kuins.kyoto-u.ac.jp
アカウント名 : 自分のKUINSアドレス
認証はパスワード
アカウント名 : 自分のKUINSアドレス
認証はパスワード
KUINS T2K@kyoto de X-window on Mac OS X
Mac OS X(又はUnix or Linux)のX-Window SystemへKUINS(リモート)のMathematicaを表示させる方法。
1:とりあえずターミナルを起動!(MacOSXのX11をインストールしていない人はインストールCDよりインストールしてください)
注:20090420現在 Leopard付属のX11には重大なバグがあります、 下のリンクで配布されているX11を使用しましょう。(作者はMacOSの作成にも関わった)
http://xquartz.macosforge.org/trac/wiki
2:ホスト側(自分のPC)でリモート(KUINS)からのXを許可させる[$xhost + hpc.kudpc.kyoto-u.ac.jp]これでhpc.~からのXの操作を許可した。
3:T2Kシステムになりホスト側(自分のPC)でリモート(KUINS)からのXを許可させる[$xhost + fat.kudpc.kyoto-u.ac.jp]これでhpc.~からのXの操作を許可した。
4:sshでKUINSにログイン[$ssh +X userID@hpc.kudpc.kyoto-u.ac.jp](2バイト@を使用しているのでコピペでは入れません)
5:[$setenv DISPLAY xxx.xxx.xxx.xxx:0]を入力(xxx.~はホスト(自分のPC)のIP)(setenv:SET ENVironment variable)
6:最後に[$xmath &]でMathematicaを起動!
6:AVS Expressも使えるよ!
1:とりあえずターミナルを起動!(MacOSXのX11をインストールしていない人はインストールCDよりインストールしてください)
注:20090420現在 Leopard付属のX11には重大なバグがあります、 下のリンクで配布されているX11を使用しましょう。(作者はMacOSの作成にも関わった)
http://xquartz.macosforge.org/trac/wiki
2:ホスト側(自分のPC)でリモート(KUINS)からのXを許可させる[$xhost + hpc.kudpc.kyoto-u.ac.jp]これでhpc.~からのXの操作を許可した。
3:T2Kシステムになりホスト側(自分のPC)でリモート(KUINS)からのXを許可させる[$xhost + fat.kudpc.kyoto-u.ac.jp]これでhpc.~からのXの操作を許可した。
4:sshでKUINSにログイン[$ssh +X userID@hpc.kudpc.kyoto-u.ac.jp](2バイト@を使用しているのでコピペでは入れません)
5:[$setenv DISPLAY xxx.xxx.xxx.xxx:0]を入力(xxx.~はホスト(自分のPC)のIP)(setenv:SET ENVironment variable)
6:最後に[$xmath &]でMathematicaを起動!
6:AVS Expressも使えるよ!
KUINS de net
~/.bash_profileの設定<-.bash_profileの一番下にこの設定をして、再起動でw3mとかできます。
http_proxy="http://proxy.kuins.net:8080/"
export http_proxy
export http_proxy
KUINS de yum
/etc/yum.confの設定
[main]
cachedir=/var/cache/yum
keepcache=0
debuglevel=2
logfile=/var/log/yum.log
pkgpolicy=newest
proxy=http://proxy.kuins.net:8080/
distroverpkg=redhat-release
tolerant=1
exactarch=1
obsoletes=1
gpgcheck=1
plugins=1
metadata_expire=1800
cachedir=/var/cache/yum
keepcache=0
debuglevel=2
logfile=/var/log/yum.log
pkgpolicy=newest
proxy=http://proxy.kuins.net:8080/
distroverpkg=redhat-release
tolerant=1
exactarch=1
obsoletes=1
gpgcheck=1
plugins=1
metadata_expire=1800
KUINS de ntp
/etc/ntp.confの設定
Proxyではじかれるか何かしら無いけれど、FedoraCore5(Linux)でbootの時はじかれていたのでntpサーバーを
ntp.kuins.kyoto-u.ac.jp
にしてやったら無事同期してくれた
ntp.kuins.kyoto-u.ac.jp
にしてやったら無事同期してくれた
# PUT YOUR REPOS HERE OR IN separate files named file.repo
# in /etc/yum.repos.d
# in /etc/yum.repos.d
T2K@Kyoto NQS 利用手引き(個人用)
1. NQSの概要
1.NQSの概要 NQS(Network Queing System)は,アメリカ航空宇宙局(NASA)の航空力学数値シミュレーション(NAS)計画の一環としてSterling Software社によって開発されたシステムを基に機能拡張したものである. NQSは一括して処理する幾つかのコマンドを組み合わせたバッチリクエストや排他的に利用する各種周辺装置に対するファイル出力リクエストを受け取り処理を行う.利用者はこのリクエストの投入,終了,監視,制限,管理を行うことができる.またNQSはネットワークで接続された他のコンピュータシステムに転送することも可能である.
2. NQSキュー
NQSキュー(エヌ・キュー・エス・キュー)とは、いわゆる計算機に皆さんの書いたプログラムやコードを実行させるときに資源管理をしてくれるプログラム。 資源管理とは以下のようなものがあげられます。 1.あなた又はあなたのグループが払ったお金に対して、どれだけのCPU(PE)やメモリを使えるかを管理 2.優先度をベストエフォート(Best effort)で管理 NQSが受け付けたリクエストを一時的にためておくのがNQSキューで,キューイングされたリクエストはNQSにより順番に実行される.またキューの属性との不一致等によりリクエストの登録が拒否されたり,キューの状態によってはリクエストの起動や登録ができないケースがある.NQSキューには以下のキューが用意されている. * バッチキュー … バッチリクエストを投入するためのキュー * パイプキュー … 他のキューへバッチリクエストを転送するためのキュー
3キュー管理のために知っておくコマンド
qdel qlimit qmodify qstat qcall qembed qmove qrttoppm qsub qcat qgroup qs qsub-1.0 qhold qmgr qrls qsched qsub-1.5 quota ほとんど私も知りませんが、qsub, qdel, qstat, qgroupぐらいを知っておけばOKでしょう。
1.qsub
2.qstat
3.qgroup
4.qdel
2.qstat
3.qgroup
4.qdel
3. バッチリクエストの作成から終了まで 3.1. バッチリクエストの作成 3.2. バッチリクエスト投入先の選択 3.3. バッチリクエスト投入 3.4. バッチリクエストの状態確認 3.5. バッチリクエストの終了
2. NQSキュー
3. バッチリクエストの作成から終了まで
以下にバッチリクエスト作成から終了までの手順を示す.
以下にバッチリクエスト作成から終了までの手順を示す.
3.1 バッチリクエストの作成
NQSでは,一括して実行するシェルスクリプト・ファイルを作成する必要がある.なお,バッチリクエスト用シェルスクリプト・ファイルのコメント部には,バッチリクエスト投入コマンドであるqsubコマンドに指定可能な全てのオプションが指定できる.以下に,その例を示す.
注) 上記のオプションは各マシン共通で使用できる.
3.2 バッチリクエスト投入先の選択
用途,資源制限(CPU時間,メモリ使用等)別にキューがクラス分けされており,投入するバッチリクエストの用途や必要となる資源を考慮して投入先バッチキュー(パイプキュー)の選択をする.
以下にSX4Bで設定したNQSキュー一覧を示す.
以下にSX4Bで設定したNQSキュー一覧を示す.
SX-4B(バッチキュー)
3.3 バッチリクエスト投入
NQSでは,作成したシェルスクリプトをバッチリクエストとしてqsubコマンドによってホストシステムに投入する.qsubコマンドでは,オプションをコメント埋め込みと同様に指定できるが,両方指定された場合には,コマンド列のオプションが優先される.
qsub -q 投入キュー名 シェルスクリプト・ファイル名
バッチリクエストの投入例を以下に示す.
(例1)シェルスクリプトを既存ファイル(test)から読み込んでバッチリクエストを実行する.
$qsub -q sxS1 test
Request 65.sx4 submited to queue: sxS1 ・・・システムメッセージ ※1 ※2
※1 バッチリクエストに対して,NQSがつけたリクエストID ※2 バッチリクエストを投入したキュー名
qsubコマンドでリクエスト投入時に指定できる主なオプションについて以下に説明する.
(1)資源制限用オプション
資源制限とは,そのバッチリクエストで使用できるCPU時間やメモリサイズ,ファイルサイズ等の最大値を設定しておき,バッチリクエストが設定した値を超えて実行しようとしたときに,その実行を強制的に終了させる機能である.実際,投入先のキューに設定されている値と比較され,キューの値よりもオプションで指定した値の方が大きい場合は,そのバッチリクエストの投入は拒否される.
(a) -lm size-limit
バッチリクエストの全プロセスに対するプロセス毎のメモリサイズ制限の最大値を設定する.
(b) -lf size-limit
バッチリクエストの全プロセスに対するプロセス毎のファイルサイズ制限の最大値を設定する.
(c) -lt time-limit
バッチリクエストの全プロセスに対するプロセス毎のCPU時間制限の最大値を設定する.
以下に指定例を示す.
(例) qsub -lm 10mb -lf 5mb -lt 1:20:30
これは,メモリサイズの最大値を10MB,ファイルサイズの最大値を5MB,CPU時間の最大値を1時間20分30秒に設定している.
(2)メール関係オプション
NQSでは,通常バッチリクエストの実行開始や終了が通知されない.そこでこのオプションを指定することで,実行開始や終了時にNQSからその旨を示すメールが届く.
(a) -mb
リクエストの実行が開始されたときにメールの発信を行うようにする.
(b) -me
リクエストの実行が終了したときにメールの発信を行うようにする.
(c) -mu
メールの送信相手を指定する.
以下に指定例を示す.
(例) qsub -q sxM -mb -mu nec@ews test.sh
これはリクエストの実行が開始されたら,ewsという端末のnecというユーザに実行開始の旨を通知するメールが届く.
注)本システムではメールシステムは立ち上げていないのでこのオプションの利用はローカルホストに限定される.
(3)キュー指定オプション
(a) -q queue-name
リクエストを登録するキューを指定する.
(4)シェル指定オプション
(a) -s shell-name
バッチリクエストのシェルスクリプトを解釈するシェルの絶対パス名を指定する. 省略した場合は管理者が設定したシェル/bin/shが適用される.
(5)リクエスト指定オプション
(a) -r request-name
リクエスト名を指定する.指定しなかった場合は以下のように自動的にリクエスト名が付けられる. ・標準入力からスクリプトを入力した場合,リクエスト名は“STDIN”になる. ・スクリプトファイルを用いた場合,絶対パス名を除いたリクエスト名になる.
(例) qsub -r /home/user/test
この場合testがリクエスト名になる.
(6)結果ファイル関係オプション
リクエストの出力結果をどこに返すかを指定するオプションである.
(a) -o [path/]file
リクエストの標準出力結果用ファイルを,path/指定したディレクトリ配下のfileという名前で指定する.
(例) qsub -o /home/users/result
指定しない場合,リクエストを投入したディレクトリ配下に“リクエスト名.o.リクエスト連番”という名で標準出力用結果ファイルが作成される.
(b) -e [path/]file
リクエストの標準エラー出力結果用ファイルを,path/指定したディレクトリ配下のfileという名前で指定する.指定しない場合,リクエストを投入したディレクトリ配下に“リクエスト名.e.リクエスト連番”という名で標準エラー出力用結果ファイルが作成される.
3.4. バッチリクエストの状態確認
NQSでは,バッチリクエスト,キューに関する状態確認コマンドとしてNQS共通でqstatコマンドが使用できる.qstatコマンド使用例を以下に示す.
注1)SX-4ではさらにqstatコマンドだけではなく,キューの状態表示を行うqstatqコマンドやリクエストの状態表示を行うqstatrコマンドが用意されている.
qstatr [[ -f ] リクエストID]
qstatq [[ -f ] キュー名]
qstatr [[ -f ] リクエストID]
qstatq [[ -f ] キュー名]
注2)HP,SGI端末はバッチジョブ投入WSの位置づけのためパイプキューしか用意されてないためqstatコマンドを用いても上記のようには表示されない.
注3)他人のリクエストの状態を確認することはできない.
注4)キューの資源制限等の属性を確認するには以下の通りに指定する.
qstat -x キュー名
qstat -x キュー名
注5)リモートホストのリクエスト,キューの状態を確認するには以下の通りに指定する.
qstat キュー名@リモートホスト名
qstat @リモートホスト名
qstat キュー名@リモートホスト名
qstat @リモートホスト名
3.5 バッチリクエストの終了
NQSではバッチリクエストの終了を確認し,またバッチリクエストは任意の時点で強制的に終了させることができるqdelコマンドが用意されている.
qdel [-k] リクエストID
実行中のリクエストを終了させる時は,'-k'を指定する.
バッチリクエスト投入後はホストシステムと接続しておく必要はない.
実行結果はバッチリクエスト時に特に指定しなければ,ジョブを投入したカレントディレクトリに以下の名前で出力される.
実行結果標準出力ファイル … <リクエスト名>.o<リクエストID>
I. 実行結果標準エラー出力ファイル … <リクエスト名>.e<リクエストID>