This page holds complete, step-by-step installation and set-up instructions for the AR Sandbox software, starting from a blank desktop PC with an Nvidia GeForce graphics processing unit (GPU). These instructions are based on the current version of the Linux Mint operating system. Due to increasing weirdness in recent versions of Mac OS X (starting with version 10.7), we can no longer recommend Mac computers and Mac OS X to drive AR Sandbox installations.
These instructions are up-to-date with the following software versions:
- Linux Mint 19.1 ("Tessa") with MATE desktop environment, 64-bit version
- Version 4.6-005 of the Vrui VR Development Toolkit (automatically selected by Vrui installation script)
- Version 3.7 of the Kinect 3D Video Package
- Version 2.6 of the Augmented Reality Sandbox
- 以下のステップ1〜５については，こちらの動画（英語）でも解説されています．
目次 
ソフトのインストール
1．最新バージョンのLinux Mint （64-bit, MATEデスクトップ版） をまっさらなPCにインストールします．
- これには実物のPCが必要です．
- AR Sandbox はバーチャルマシンでは動作しません．
- Linux Mint のインストールマニュアルはこちらにあります．
- フルスクラッチインストールの動画はこちらにあります．
2．Nvidia製のグラフィックカードを使うためにベンダーのドライバーをインストールします．
- コントロールセンターを開いて， “Driver Manager”を選択します．パネルが開いて利用可能なドライバーがリストアップされるまで待ってください．
- その後，推奨されるNvidiaバイナリードライバーを選択して“Apply Changes.” ボタンを押します．
- 変更が完了するまで待って（しばらくかかります），コンピューターを再起動します．
3．Vrui VR toolkitをインストールしてビルドします．
- ターミナルを開いて以下のコマンドをこの通りに入力します（心配な場合は，コピペして一行でごとに入力してください）．
- 〜は ユーザーのホームディレクトリを意味します．
cd ~
wget http://idav.ucdavis.edu/~okreylos/ResDev/Vrui/Build-Ubuntu.sh
bash Build-Ubuntu.sh
- 最後のコマンドで走るスクリプトは，必要不可欠なライブラリをインストールするためにユーザーパスワードを要求します,
- その後，Vrui VR toolkitをビルドします.
- 多くのプロットが流れてしばらくかかった後，最後に地球儀が画面ではじけて終了します．
- 窓を閉じて，前のターミナル画面に戻ってください．
4．Kinect 3D video packageをインストールします．
cd ~/src
wget http://idav.ucdavis.edu/~okreylos/ResDev/Kinect/Kinect-3.7.tar.gz
tar xfz Kinect-3.7.tar.gz
cd Kinect-3.7
make
sudo make install
sudo make installudevrules
ls /usr/local/bin
- 最後のコマンドでリストアップされるものの中に KinectUtil と RawKinectViewerがあることを確認してください.
5．AR Sandboxのソフト本体をインストールします．
cd ~/src
wget http://idav.ucdavis.edu/~okreylos/ResDev/SARndbox/SARndbox-2.6.tar.gz
tar xfz SARndbox-2.6.tar.gz
cd SARndbox-2.6
make
ls ./bin
- 最後のコマンドでリストアップされる中に CalibrateProjector と SARndboxがあることを確認してください.
- AR Sandbox calibration utility とメインのアプリは ~/src/SARndbox-2.6/bin のディレクトリ下にできています．
システムの統合・キャリブレーション
6．第一世代のKinectデバイスを接続して，そのファームウェアから機器固有の調整パラメータをダウンロードします．
sudo /usr/local/bin/KinectUtil getCalib 0
- パスワードをきいてくるので入力して続けてください．
- これによりキネクト本体のファームウェアにある出荷時のキャリブレーション情報がダウンロードされて，PCの /usr/local/etc/Vrui-4.6/Kinect-3.7/に保存されます．
7．全画面表示のキーボード・ショートカットの登録
- インストールしたRawKinectViewerでは，全画面表示にすることが多いので，あらかじめショートカットキーを登録しておくと便利です．
- [システム]→[設定]→[キーボード・ショートカット]
- 全画面表示切り替えのキーボード・ショートカットに適当なもの（たとえば ctl+alt+f）を登録
8．Kinectの向きを調整して，カメラの視界がサンドボックスの内側をカバーするようにします．
- Kinectの向きの調整は，RawKinectViewerアプリを使ってモニターしながら行います.
- 以下のコマンドをターミナルで入力して起動します．
cd ~/src/SARndbox-2.6
RawKinectViewer -compress 0
- AR Sandboxは立体センサー画面（左）のみ使いますが，カメラ画面（右）は本体の無知を調整する際に補助として使えます．
9．サンドボックスの底面を算出します．
- 画面内の描画はマウスホイールで拡大縮小できます．
- 画面のパン（移動）はZキーを押しながらマウスをドラッグします（ボタンは押さない）．
- マウスの右ボタンを長押しするとメニューが出てくるので，その中から「 Average Frames」を選択します．
- 数字の1キーを長押しするとメニューが出てくるので，「Extract Planes」を選択し，キーから手を離します．
- これで1キーにこの機能が割り当てられます．
- 左下の赤いコーナーにカーソルを合わせて1キーを長押しすると機能登録が取り消されます．
- 立体センサ画面内に写っている水平面の内側に四角形を描きます．
- 平面内の左上のコーナー付近にマウスカーソルを合わせます
- 1キーを押しながら右下までマウスカーソルをドラッグします（マウスボタンは押さないで）．
- 1キーを離します．
- ターミナルウィンドウに2行の文字列が表示されますが，その2行目の「*」以降をコピーします．
- コピーした文字列を~/src/SARndbox-2.6/etc/SARndbox-2.6Box/BoxLayout.txtというテキストファイルにペーストします．
- ペーストした文字列のうち，「=」の箇所を「,」に修正します．
- BoxLayout.txtはSARndboxのソースディレクトリ内のetc/SARndbox-<version>にあります.
- BoxLayout.txt の例（ここで設定するのは一番上の行です）
(-0.0302053, -0.0164072, 0.999409), -100.1997 //水平面（海水準）のパラメータ（鉛直ベクトルと深さ）
( -28.4518, -36.6135, -99.2554) //sandboxの四隅（左下）
( 36.3453, -36.2071, -100.039) //sandboxの四隅（右下）
( -28.321, 35.1049, -102.783) //sandboxの四隅（左上）
( 36.313, 34.6932, -99.9503) //sandboxの四隅（右下）
- Linux Mintのデフォルトエディタの “pluma”を使ってファイルを編集するには，ターミナルで以下のコマンドを使います．
cd ~/src/SARndbox-2.6
pluma etc/SARndbox-2.6/BoxLayout.txt &
- 二つ目のコマンドの後ろにある＆は，テキストエディタを起動中でもターミナルウィンドウを表示させたまま使えるようにするためのものです．
- ここで，動画でも説明しているように，底面の定義式を入力します．
- マウスを使ってターミナルに表示されている文字を反転させてから右クリックしてコピーします（Shift-Ctrl-cでもOK）.
- テキストエディタの “Edit” メニュー（ または Ctrl-v）で，ターミナルからコピーしてきた文字をペーストします.
【巧みの技: 】テキストを異なるウィンドウ間ですばやくコピペする方法
- : コピー元の画面のテキストをマウスで反転させます
- : コピー先の画面にマウスを移動させてペーストしたい箇所で中ボタンをクリックします．
10．砂の表面の3次元的広がりを計測します．
- 新しくリリースされたKinect-3.2パッケージでは, この設定は，次の動画の 4:10から始まっているインストラクションにあるとおり，RawKinectViewer内でも可能です．
- 数字の2キーを長押しするとメニューが出てくるので，「Measure 3D Position」を選択し，キーから手を離します．
- マウスを右クリックして「 Average Frames」のチェックをはずしておきます．
- RawKinectViewer内で砂の表面を表示して四隅の座標にマウスカーソルをあててポイントしていきます．
- 数字の2キーを押すと座標が記録されます．
- 砂箱のコーナーを測定する際に，左下・右下・左上・右上の順番で行うように留意してください．
- 動画で解説されているとおりに砂箱の四隅の座標をテキストエディターにコピーした後，ファイルを保存し ( “File” メニューあるいは Ctrl-s)，エディタから抜けてください (“File” menuまたはCtrl-q).
BoxLayout.txt の例（ここで設定するのは2〜5行目です）
(-0.0302053, -0.0164072, 0.999409), -100.1997 //水平面（海水準）のパラメータ（鉛直ベクトルと深さ）
( -28.4518, -36.6135, -99.2554) //sandboxの四隅（左下）
( 36.3453, -36.2071, -100.039) //sandboxの四隅（右下）
( -28.321, 35.1049, -102.783) //sandboxの四隅（左上）
( 36.313, 34.6932, -99.9503) //sandboxの四隅（右下）
11．プロジェクタの投影がサンドボックス内に収まるように本体の向きを調整します．
- Vrui’s XBackground utilityアプリがキャリブレーショングリッドを描画してくれますので，それをガイドとして使うことができます．以下のコマンドを入力してください．
XBackground
- キャリブレーショングリッドが映し出されたら，ショートカットキーでフルスクリーンにします．
- キャリブレーショングリッドがフルスクリーンになっていることを確認してください．タイトルバーやデスクトップパネルが消えているはずです．
- プロジェクタの向きが決まったら Escキーを押してXBackgroundを閉じます．
12．Kinectカメラとプロジェクタの相互関係を調整します．
- CalibrateProjector utilityを起動します．
cd ~/src/SARndbox-2.6
./bin/CalibrateProjector -s <width> <height>
- ここで，<width> <height> はそれぞれプロジェクター解像度の幅と高さ（ピクセル）です．例えばXGAプロジェクタの場合は以下のようになります．
./bin/CalibrateProjector -s 1024 768
- CalibrateProjectorはフルスクリーン（F11）で起動してください.
- その後，動画の10:10以降の説明に従ってください．
- 最初に投影画面が赤くなってバックグラウンドを取得します．そのあとすぐにクロスが出ます．
- （F11で全画面にしておきます）
- 次に一回だけマウスの左ボタンをクリックしておきます．
- 続いて１のキーを押しっぱなしにすると，画面上のマウスカーソルの位置にメニューのようなもの（下図）が出てきますので，マウスを操作してCaputure toolを選択します．これで１のキーにクロスの決定機能が割り当てられます．
- 次に画面に，Caputure Background とかなんとかの表示（下図）が出ますので，２のキーを押します．
- これで，１のキーにクロスの決定，２のキーにバックグランドの取得機能（赤い画面）が，それぞれ割り当てられました．
ARSandboxの起動
13．いよいよメインのAR Sandboxアプリの起動です．
cd ~/src/SARndbox-2.6
./bin/SARndbox -uhm -fpv
- SARndbox’sをフルスクリーン(F11)にしてください．そうしないと上記の調整は反映されません.
- -uhm を指定すると，砂の表面にカラー標高マップを表示させます,
- -fpv を指定すると，12の手順で取得したKinectカメラとプロジェクタの相互関係の設定を適用します．
プリセットの作成など
14．プリセット用のディレクトリの作成
- Vrui VR toolkit はプリセットを設定できます．
- プリセットの内容は以下のディレクトリに格納されています．
/.config/Vrui-<version>/Applications
15．CalibrateProjectorプログラム用の設定ファイル
- CalibrateProjectorプログラムの設定ファイルをエディタで作成します．
xed ~/.config/Vrui-4.6/Applications/CalibrateProjector.cfg
section Vrui
section Desktop
section Window
# Force the application's window to full-screen mode:
windowFullscreen true
endsection
section Tools
section DefaultTools
# Bind a tie point capture tool to the "1" and "2" keys:
section CalibrationTool
toolClass CaptureTool
bindings ((Mouse, 1, 2))
endsection
endsection
endsection
endsection
endsection
(上のテキストをコピペしてエディタに貼り付けてください.)
- CalibrateProjectorを起動すると, メニューバーなどがない状態で画面一杯にウィンドウが表示されます．
- "1" のキーを押すと, calibration tie point を取得します．
- "2" のキーを押すと，バックグラウンドを再取得します．このときバックグラウンドは2秒間赤く表示されます．
- "bindings"に記述されている"1" と "2" のキーは好きなキーに変更できます.
16．SARndbox用の設定ファイル
- SARndbox用の設定ファイルをテキストエディタで作成します:
xed ~/.config/Vrui-4.6/Applications/SARndbox.cfg
section Vrui
section Desktop
# Disable the screen saver:
inhibitScreenSaver true
section MouseAdapter
# Hide the mouse cursor after 5 seconds of inactivity:
mouseIdleTimeout 5.0
endsection
section Window
# Force the application's window to full-screen mode:
windowFullscreen true
endsection
section Tools
section DefaultTools
# Bind a global rain/dry tool to the "1" and "2" keys:
section WaterTool
toolClass GlobalWaterTool
bindings ((Mouse, 1, 2))
endsection
endsection
endsection
endsection
endsection
- 保存してエディタを終了します．
- 手順16と同様に，上記の設定ではARSandboxはフルスクリーンで起動するようになります．実際に用いるARSandboxに適合するように，CalibrateProjector を用いて調整を済ませておいてください．
- また，"inhibitScreenSaver" というセッティングは，どのキーも押されていない場合にスクリーンが明滅するのを防ぎます．
- "mouseIdleTimeout 5.0" というセッティングは，なにも操作しない時間が5秒経過するとマウスカーソルが消える設定です．マウスカーソルを再表示したいときは，単にマウスを操作してください．
- 上記の"section WaterTool" では，"1" キーで雨を降らせて，"2"キーで蒸発させる設定にしています.
- ここはお好きなキーに割り当てることができます.
17．AR Sandboxを起動するデスクトップアイコンの作成
- AR Sandboxを起動するには，ターミナルでコマンドを打ち込む必要がありますが，結構面倒です．これを簡単にするために，ダブルクリックするだけで起動できるアイコンを作成しておくとよいでしょう．以下の2つのステップで作成できます．まず，SARndboxを起動するシェルスクリプトを作成し，次にそのスクリプトをデスクトップアイコンにリンクさせます.
xed ~/src/SARndbox-2.6/RunSARndbox.sh
#!/bin/bash
# Enter SARndbox directory:
cd ~/src/SARndbox-2.6
# Run SARndbox with proper command line arguments:
./bin/SARndbox -uhm -fpv
- 実際に使うコマンドを最後の行に書きます（-uhm -fpvなどのオプションもここで指定）. 保存してエディタを終了し，以下のコマンドで実行権限を与えます．
chmod a+x ~/src/SARndbox-2.6/RunSARndbox.sh
- 以下のコマンドでデスクトップアイコンを作成します．
xed ~/Desktop/RunSARndbox.desktop
#!/usr/bin/env xdg-open
[Desktop Entry]
Version=1.0
Type=Application
Terminal=false
Icon=mate-panel-launcher
Icon[en_US]=
Name[en_US]=
Exec=/home/<username>/src/SARndbox-2.6/RunSARndbox.sh
Comment[en_US]=
Name=Start the AR Sandbox
Comment=
- <username> のところは実際のものに書き換えてください．
- 保存して，以下のコマンドで実行権限を与えます．
chmod a+x ~/Desktop/RunSARndbox.desktop
- これで，デスクトップアイコンをダブルクリックするだけでAR Sandboxを起動できるようになりました．
18．起動／ログイン時にARSandboxも起動する
PCを起動したときに自動的にAR Sandboxも起動するようにするには，
- Linuxのインストールの際に，auto-loginできるアカウントを設定する必要があります．
- SARndboxの起動スクリプトを作成して，ユーザーのstart-upリストに加えます．
- 次回ログインした際にAR Sandboxが自動的に起動します.
- アプリから抜けるときはエスケープキーを押してください．
19．複数のモニターを使う場合
- AR Sandboxをラップトップで稼働させていたり，デスクトップにメインモニターとプロジェクターをつないでいたりする場合，CalibrateProjectorと SARndboxをプロジェクターの方で表示させて，メインモニターを別の用途（コマンド制御とか仮想3Dモデルの表示など）に使うようにもできます
- まずは，砂箱への投影に使うプロジェクターがどのビデオポートに接続されているかを決めます．以下のコマンドを入力します．
xrandr | grep connected
- xrandr はPCで使えるビデオ出力ポートのリストを表示し，それぞれのポートに接続されているモニターやプロジェクターの情報を教えてくれます．以下のように表示されます．
DVI-I-0 disconnected primary (normal left inverted right x axis y axis)
DVI-I-1 connected 2560x1600+0+0 (normal left inverted right x axis y axis) 641mm x 401mm
HDMI-0 disconnected (normal left inverted right x axis y axis)
DP-0 disconnected (normal left inverted right x axis y axis)
DVI-D-0 connected 1600x1200+2560+0 (normal left inverted right x axis y axis) 367mm x 275mm
DP-1 disconnected (normal left inverted right x axis y axis)
- この情報では2つのモニターが接続されていることがわかります．
- 一つは2560x1600 pixelsのものがDVI-I-1ポートにつながっていて, 1600x1200 pixelsのものがセカンダリーモニターがDVI-D-0ポートにつながっていて，メインモニターの右側+2560+0に表示されている，という感じです．
- これらの情報に基づいて，砂箱への投影に使うプロジェクターのポートを確認してください．pixel sizeが1024x768となっているようなものを捜すとよいでしょう．
- CalibrateProjectorと SARndbox がそのプロジェクターに出力するように設定ファイルに書き込みます．
xed ~/.config/Vrui-4.6/Applications/CalibrateProjector.cfg
xed ~/.config/Vrui-4.6/Applications/SARndbox.cfg
- 上記の二つのファイルの"Window"セクションにある"outputName"の記述を変更します,
- setting into the existing :
section Window
...
# Open the window on a specific video output port:
outputName <port name>
...
endsection
- ここで<port name>のところを，実際に使うビデオ出力ポートの名前にします（例：DVI-D-0）
- このように設定した後は，CalibrateProjectorやSARndbox は，砂箱投影用のプロジェクターにフルスクリーンで映像を出力するようになります．
- Check that there are no remaining window frames or panels etc.
- xrandr utilityは，モニターやプロジェクターをオン・オフすることもできます．例えば，DVI-I-1ポートにメインモニターが，HDMI-0ポートにプロジェクターがそれぞれつながっているとします．プロジェクターのスイッチを入れ，それがメインモニターの右側に来るようにしたい場合は，以下のようにします．
xrandr --output DVI-I-1 --auto --primary --output HDMI-0 --auto --right-of DVI-I-1
- プロジェクターを再び消したい場合は，以下のようにします．
xrandr --output DVI-I-1 --auto --primary --output HDMI-0 --off
20．AR Sandboxの第2画面表示
- 前のセットアップで複数画面の設定がすんでいる場合，2つ目のモニターを3D地形を俯瞰的に表示するために使うようにもできます（ビデオでの説明）．
- 第2画面表示にするには， SARndboxの設定ファイルを編集する必要があります．
xed ~/.config/Vrui-4.6/Applications/SARndbox.cfg
- "Desktop"セクションの最初に以下の記述を挿入します．
section Vrui
section Desktop
# Open a second window:
windowNames += (Window2)
...
endsection
endsection
- 次に，"Window"セクションの後ろに "Window2" という新しいセクションを追加し，以下のように記述します．
section Vrui
section Desktop
...
section Window
...
endsection
section Window2
viewerName Viewer
screenName Screen
windowType Mono
# Open the window on a specific video output port:
outputName <port name>
# Open the window to full-screen mode:
windowSize (800, 600)
windowFullscreen true
endsection
...
endsection
endsection
- ここで <port name> のところは実際のポート名にしてください．
- 上記の変更の後，SARndboxはセカンドモニターに第2画面を表示するようになりますが，メインモニターと同じ真上からの視点で表示されたままです．2つのモニターのアスペクト比が違う場合は，セカンドモニターのほうがひずんでいることになります．
- セカンドモニター独自の表示にするには，コマンドを変更します．おすすめの方法は，前に設定してあるシェルスクリプトを書き換えることです．
xed ~/src/SARndbox-2.6/RunSARndbox.sh
./bin/SARndbox -uhm -fpv
- 上記のコマンドに含まれるオプションは，デフォルトのカラー標高マップを用いて（-uhm），プロジェクター調整値を適用してロックする（-fpv），という意味です．
- デフォルトでは，SARndboxはコマンド経由のオプション設定をすべてのウィンドウに適用します．しかし -wi <window index> を使うことで，その設定をオーバーライドすることができます（<window index>は ゼロから始まるwindowインデックス番号です）．
- このオプションに続くオプションは，その番号とそれ以上の番号に適用され，-fpvオプションでリセットされます．
- 実際には以下のようになります．
./bin/SARndbox -uhm -fpv -wi 1 -rws
- ここで -rws が出てきますが，これは，水流を地表面の凹凸に沿わせるのではなく，水流表面自体を3D表示するようにするオプションです．これを使うと，斜めから見た場合に，よりリアルな水流を再現できます．
- この変更を適用すると，AR Sandboxは，3次元で水面が再現されている水流シミュレーションが表示できる3D地形モデルをセカンドモニターに表示するようになります．このセカンドモニター表示では，一般的な3Dソフトでも可能なように，マウスとキーのコンビネーションで，3Dモデルをグリグリと回したり，パン・ズームしたりすることができます.
- マウスの左ボタンを押しながら3Dモデルを回転させられます．
- Zキーを押しながらマウスを移動させると3Dモデルを平行移動させられます．
- Zキーとマウスの左ボタンを押しながらマウスを移動させると，マウスのホイールでできたように，ズーム・パンができます．マウスホイールは段階的に変化しますが，Zキーとマウスの左ボタンの場合は，シームレスに変化します．
- Zキーとシフトキー，そしてマウスの左ボタンを押しながらマウスを移動すると，左シフトキーを押しながらマウスホイールを回したときのように，視点位置を水平移動させることができます．
- SARndboxの起動時には，セカンドモニターは，初期設定のままの真上からみた3D表示になっています．起動時からすぐに別の視点での3D表示にしたい場合は，あらかじめ上の操作で視点や3Dモデルの方向を捜して，自分のお好みのアングルを決めて保存しておいてください．
- 3Dモデルのアングルを保存するには，マウスの右ボタンを押してmain application menuを表示し，マウスで一番下の"Vrui System" > "View" >"Save View..."を選択してください．
- これでファイル名と保存ディレクトリを指定する保存用ダイアログが表示されますので，ファイル名を初期設定の"SavedViewpoint0001.view"のままにして，ディレクトリもAR Sandbox's projectのまま変更せずに保存します．
- SARndboxをいったん終了して，下記のように起動スクリプトを修正します．
xed ~/src/SARndbox-2.6/RunSARndbox.sh
./bin/SARndbox -uhm -fpv -wi 1 -rws -loadView SavedViewpoint0001.view
- もし前のステップで保存した視点設定ファイルが別の名前になっている場合は，正しい名前を指定してください．
- 次に起動したときのセカンドモニターの表示は，お気に入りの視点になっているはずです．
![[PukiWiki]](image/kaki.png "[PukiWiki]")
