ISSM Demonstrations (16-17.10.07)
Spatial Media: 3D Computer Graphics and Audio;
スペーシャル メディア: 3次元CGと立体音響
Tuesday, Wednedsay; Oct. 16-17, 2007
- Contributors
-
- Faculty Advisor
-
- Administrative and Technical Assistance
-
- Iwasaki Junichi; 岩崎 淳一 (会津大学 UBIC)
- Doctoral Students
-
- 2nd Year Masters Students
-
- 1st year Masters students
-
- Graduation Research students
-
- Undergraduate Research Assistants
-
- Yoshinori Moriguchi; 森口 慶紀
- Abstract
-
The synergetic convergence of telephones, computers, televisions, high
fidelity stereos, robotics, and visual displays enables a
consumer-level participation in multimedia and its cousin "virtual
reality." New idioms of computer-human interaction encourage
different styles of communication. This seminar traces the
development of some emerging media and interaction modalities,
including games and amusements, simulators, movies, teleconferencing,
and mobile phone applications.
We will use the unique facilities of the UBIC's
3D Theater, including its immersive visual display
and speaker arrays, to demonstrate some research being done locally
by faculty and students, explaining and showing examples of
spatial media, visual music, and virtual reality.
- 概略
-
電話、コンピュータ、テレビ、音響機器、ロボットなどを 組み合わせることによって、一般の人がマルチメディアや
バーチャルリアリティを体感できます。 今や人間とコンピュータの間で行われるやり取りは、キーボードによる
入力とディスプレイによる出力だけではなく、様々な方法があります。 たとえば、入力ではハンドル型のコントローラー、マウスとGUI(画面に
表示されているボタンやメニューバーなどのこと)、マイクによる音声入力、 などの多彩な方法があります。出力においても、ただの音だけではなく
ステレオや5.1chのサラウンドシステムを使った立体音響や、フォース フィードバックのような触覚への刺激があります。
この講座では、上記のような人間とコンピュータの間のやり取りの手段を研究し、 ゲーム、シュミレータ、映画、電話会議、アミューズメントパークの
体感アトラクション、そして携帯文化などの既存のメディアの開発を行っています。
会津大学の敷地内にはUBIC(産学イノベーションセンター)という施設があり、
そこには、大きなスクリーンと、観客を取り囲む8つのスピーカーが備わった 仮想空間を作り出すユニークな設備があります。私たちはこの設備を使って
バーチャルリアリティや立体音響、また携帯端末によるそれらの操作などの デモンストレーションを行います。
- Program
-
- Tuesday, 10:40-11:40: UBIC 3D Theater
-
- "i・Con" Mobile Phone Interface: Remote control 3D sounds and images by mobile phone;
「i・Con」: 携帯電話による音響や映像の制御: 携帯コントロルと協調仮想環境の為のグループウェア
We have developed an interface for
narrowcasting (selection) functions
for a networked mobile device
deployed
in a CVE (collaborative virtual environment).
Featuring a variable number of icons
in a "2.5D" application,
the interface can be used to control
motion,
sensitivity,
and audibility of avatars in a teleconference or chatspace.
The interface is
integrated with other CVE clients through a "servent"
(server/client hybrid) HTTP -> TCP/IP gateway,
and
interoperates with a heterogeneous groupware suite
to interact with other clients, including
stereographic panoramic browsers and
spatial audio backends and speaker arrays.
Novel features include
mnemonic conferencing selection function keypad operations,
multiply encoded graphical display of such non-mutually exclusive attributes,
and explicit multipresence features.
携帯電話による音響や映像の制御:私たちはナローキャスティング(情報の送受信の方法をコントロールする手法)の機能を持つCVEク
ライアントとしての携帯機器の開発を行いました。2.5次元の空間内に可変数のアイコンを配置しそれらを操作することによって、通信会議などを行う際に情
報の取捨選択を可能にします。これらの機能はサーバント(サーバーとクライアント両者の性質を持つ)を利用して、立体画像ブラウザや立体音響システムなど
の他のソフトと連動します。斬新な特徴として、キーパッドを利用したオブジェクトの選択や移動、各種特徴の付与解除、そしてそれらをグラフィカルに表示す
る機能を持ちます。
関連キーワードなど:可聴・不可聴の選択、CSCW(コンピュータを用いた共同作業)、指向性のあるス
テレオサウンドの表示、グループウェア、モバイルコンピューティング、ナローキャスティング、音域重ね合わせ、明確なユーザーインターフェース、立体音
響、通信会議携帯電話による音響や映像の制御:私たちはナローキャスティング(情報の送受信の方法をコントロールする手法)の機能を持つCVEク
ライアントとしての携帯機器の開発を行いました。2.5次元の空間内に可変数のアイコンを配置しそれらを操作することによって、通信会議などを行う際に情
報の取捨選択を可能にします。これらの機能はサーバント(サーバーとクライアント両者の性質を持つ)を利用して、立体画像ブラウザや立体音響システムなど
の他のソフトと連動します。斬新な特徴として、キーパッドを利用したオブジェクトの選択や移動、各種特徴の付与解除、そしてそれらをグラフィカルに表示す
る機能を持ちます。
- Musical Spatial Gestures with a Breath Controller;
ブレスコントローラによる音の空間的な動作
It is possible to send location data in ordinary MIDI messages,
but such control is only 1-dimensional, lateral panning (left or right).
We demonstrate performance-time modulation of spatial music,
displayed through the UBIC 3D Theater's speaker array
and steered by dynamic interpretation of parameters sensed
by a breath controller, not such message.
For example, we divide the space into 12 parts such as clock face,
assign each part with 12 notes of octave. Then, if the breath controller
play, its note sounds such assigned place.
This project explores spatial expression of music, as a MIDI breath controller
is used not only for synthesis, but for control of spatial modulation,
allowing the notes to dance around the room, directed by various attributes of
the performance.
通常のMIDIメッセージの中に位置の情報を含めることは出来ますが、それは中心から
左右どちらに振れているかという1次元的情報です。
この研究ではそれらの情報ではなく、ブレスコントローラの動的な演奏によって
感知されるパラメータを操作し、UBIC 3Dシアターのスピーカーアレイを介し
ディスプレイされるリアルタイムの演奏によって空間的な音楽の変化を作り出す
プログラムを紹介します。
例えば、1オクターブの中に含まれる12の音を時計の文字盤のように円周上に配置し、
発音された時それぞれの音に対応した位置で鳴らすようにすることが出来ます。
このプロジェクトではMIDIブレスコントローラを電子楽器としてだけではなく、
空間においての変化をコントロールするために用いることによって、音が部屋の中を
踊るように動くことを可能にするなど様々な特徴を持ったパフォーマンスを可能にする
空間的な音楽の表現を探っています。
- Spin-Around: Phase-locked Synchronized Rotation and Revolutino in Multi-standpoint Panororamic Browsers
- Ishara Anupama Jayasingha; イシャラ ジャヤシンハ
Using multistandpoint panoramic browsers as displays,
we have developed a control function that synchronizes
revolution and rotation of a visual perspective around a designated point of regard in a virtual environment.
The phase-locked orbit is uniquely determined by the focus and the start point,
and the user can parameterize
direction,
step size,
and cycle speed,
and invoke an animated or single-stepped gesture.
The images can be monoscopic or stereoscopic,
and the rendering supports the usual scaling functions (zoom/unzoom).
Additionally,
via sibling clients that can directionalize realtime audio streams,
spatialize HDD-resident audio files,
or render rotation via a personal rotary motion platform,
spatial sound and propriceptive sensations can be synchronized with such gestures,
providing complementary multimodal displays.
- Gestural Control of Virtual Environments Using a Sudden Motion Sensor;
The Sudden Motion Sensor on Macintosh laptop computers features a gyroscopic sensor
that can track the orientation of the computer. By connecting this sensor to a
virtual reality interface, tilting the computer can be used to control the position
(location and/or orientation) of avatars, which can in turn control the spatialization
of sound. This gestural control suggests a new paradigm for computer-human interaction,
using the postion of the computer directly instead of devices like a mouse or track-pad.
マックPCについているSMSという機能はコンピュータの動きを計ることのできるジャイロスコープのことです。このセンサをバーチャルリアリティインターフェイスに接続することによって、順番に音の空間化を制御することができるアバターの位置(位置またはオリエンテーション)を制御するのにコンピュータを傾けることによって行います。
これらはコンピュータと人との交流のために、直接マウスやトラックパッドなどの代わりにコンピュータの位置を使用するといった、あたらしい発想を示します。
- Ocular Music
We address the problem of visualizing microtuned scales and chords such that each representation is unique and therefore distinguishable. Using colors to represent the different pitches, we aim to capture aspects from the musical
scale impossible to represent with numerical ratios. Inspired by the neurological phenomenon known as synæsthesia,
we built a system to reproduce microtuned MIDI sequences aurally and visually. This system can be related to Castel’s historic idea of the ‘Ocular Harpsichord.’
- Helical Keyboard with Melodic & Harmonic Stretching;
螺旋型キーボードとその音階・倍音の拡張
The Helical Keyboard is a Java application for visualization and auralization of music based on the cyclical and linear nature of the musical scale, as explained by Shepard and Pierce. In this model, keys of a musical keyboard are organized in a helix where each pitch-class has the same azimuth and the lowest frequencies are located at the bottom end of the helix. The standard helix has one revolution per octave, and each octave is divided into twelve intervals of the same size (twelve tones, equal tempered). It allows visualization of chords by polygons connecting the constituent notes of the chord, and features depth cues using chromastereoptic techniques. Also, it can recognize basic chords and their inversions in real-time. The Helical Keyboard can be driven by MIDI events, and the user can choose among several mechanisms provided to synthesize the stream. This stream is spatialized by a spatial sound display, directionalizing each note played in the helix. One interesting feature of this model is the decoupling of the visual display and the aural display: The helix can be shown from an outside perspective, but the sound is rendered as if the user were in the axis of the helix. The Helical Keyboard renders the aural display in stereo or via a DSP-driven hemispherical loudspeaker array. There are several ways in which the user can interact with the 3D model in real time, including rotating the helix vertically and around its axis, translating it vertically, zooming in and out, changing the stretching ratio, and playing the notes over the helix as well as in a traditional keyboard widget.
螺旋型キーボードとその拡張。通常のピアノの鍵盤は横に並んでいますが、この螺旋(らせん型キーボード)は鍵盤が縦に渦巻いて、縦に細長い形状になっています。このような形で1オクターブを円1周とすることで、視覚的に音楽を理解しやすくなります。私達はこのキーボードを、1オクターブを通常の12音から違う数へ増減させたり、それに合わせて調律を変化させることが出来るように拡張しました。これより、現在楽しまれている西洋の音階を使った音楽に加えて、様々な伝統的民族音楽をも演奏することが出来るようになります。
- "VR4U2C" ('Virtual Reality for You to See'):
Panoramic, Turnoramic (Object), and Stereographic Imaging;
「VR4U2C」:
パノラミック, オブジェクト, と ステレオグラフィック イメージング
One of the first principles of immersive visual display is to fill the
user's field of view with imagery, often of a single environment, sometimes
an actual place remotely viewed in space and/or time. Although many hardware
components for constructing such immersive visual displays can be purchased
at reasonable cost, no general-purpose software system was readily available
to integrate such devices under computer-based interactive control. To
address these needs, particularly for the more specialized components
typically used in stereographic display systems, we have developed a
multiuser multiperspective panoramic and turnoramic (object movie) browser,
using Apple's QuickTime VR technology and the Java programming language with
the support of the "QuickTime for Java" application programming interfaces
(API). This novel QTVR browser allows coordinated display of multiple views
of a virtual environment, limited practically only by the size and number of
monitors or projectors available around users in various viewing locations.
Named "VR4U2C" ("virtual reality for you to see"), the
browser is one of many integrated clients in the University of Aizu Spatial
Media Group's multimodal groupware suite and interoperates seamlessly with
them. VR4U2C can be used interactively to explore and
examine detailed multidimensional, virtual environments (photorealistic or
otherwise) using a computer and conventional input devices--- including
mouse, trackball, rotary controller, track pad, and keyboard--- as well as
more exotic interfaces--- including speaker array spatial audio displays,
mobile phones, and swivel chairs with servomotor control. Through a unique
multinode dynamic traversal technique, VR4U2C provides
an elegant solution to the problem of interactive stereoscopic display of
QTVR imagery.
実体験のように感じる実画像表示の主な目的は、写真に写された実際の場所を画面
上で見渡すことです。そのような画像表示を実現するためのハードウェア部品は低価
格で購入できますが、一般用のソフトウェアシステムは、デバイスとコンピュータ基
底対話型コントロールの基で統合してすぐに利用することはできません。ステレオグ
ラフィック表示システムで頻繁に使われる特別な部品の需要に応えるために、私たち
はアップル社のQuickTime VR技術とJava言語を用い、JavaのためのQuickTimeアプリ
ケーションプログラミングインターフェース(API)の支援を受け、パノラマ&オブ
ジェクトムービーブラウザを開発しました。この斬新なQTVRブラウザにより、仮想環
境で視野を調整することができるようにうなりました。ただし、撮影位置、ユーザー
の周りで使用できるモニターとプロジェクターの数とサイズにより、表示できる視野
は限られてしまいます。VR4U2Cというブラウザは会津大学の
空間的なメディアグループマルチモデルグループウェアにおけるクライアントのひと
つです。VR4U2Cは、コンピュータと伝統的な入力装置(マウ
ス、トラックボール、回転式コントローラ、トラックパド、キーボード)、その他の
インターフェース(スピーカー配列空間オーディオ装置、携帯電話、サーボモーター
コントロール付回転イス)を使用することにより、対話形式で多次元の仮想空間を表
現することができます。VR4U2Cは、動的な旋回技術であり、
QTVR画像を立体的に表示する際に生じ得る問題を解決することができます。
- "Just Look At Yourself!": Stereographic Exocentric Visualization and Emulation of Stereographic Panoramic Dollying in VR4U2C;
『自分自身をご覧なさい』: 立体視システムにおける自己中心的な視点移動の外側からの可視化とエミュレーション
Previous research introduced the idea of stereographic panoramic
browsing, via our VR4U2C client,
subsequently extended to allow not only zooming, a simple
magnification-driven manipulation of the image, but also dollying, allowing
limited viewpoint motion--- enabled by multiple panoramic captures and
enabling looming, viewpoint-selective occlusion and revealing of background
scene objects.
We have integrated this client with a sibling client based on
Java3D, allowing realtime visualization of the dollying, and juxtaposition of
stereographic CG (computer graphic) and IBR
(image-based rendering) displays. The J3D application visualizes
and emulates VR4U2C, integrating cylinders
dynamically texture-mapped with a set of panoramic scenes into a
3D CG model of the same space as that captured by the
set of panoramic scenes. The transparency of the CG 3D
scene and also the photorealistic panoramic scene, as well as the size of the
cylinder upon which it is texture-mapped, can be adjusted at runtime to
understand the relationship of the spaces.
Keywords: mixed reality/virtuality, image-based rendering, panoramic
navigation.
ステレオグラフィックエキソセントリックビジュアライゼイションと
エゴセントリックパノラミックドリーングの模倣.
従来の私たちのグループの研究においてVR4U2Cのクライアントによる立体的な
インターネット閲覧ソフトの発想を紹介したが、それに次いでイメージを簡単
に増率させる拡大表示だけではなく多数の360度回転のキャプチャーや、背
景の景色のオブジェクトの閉鎖や解放シーンを可能にさせるルーミングの技術
を用いてビューポイントモーションを特別に用いたドリーングまで拡大させた。
そして私たちは2つ目として、このVR4U2Cのクライアントに、ドリーングのリ
アルタイムな透視や立体的なコンピュータグラフィックとイメージベーストレ
ンダリングの表示を並列させたJava3Dを基にしたクライアントを調和させた。
Java3DのアプリケーションはVR4U2Cを模倣して視覚化させ、ダイナミックにテ
クスチャーが貼られたシリンダーに、この実写の360度のシーンの設置され
た空間と同じ空間に3次元コンピュータグラフィックのモデルの360度のシ
ーンの設置を組み込んだ。また、3次元コンピュータグラフィックシーンや実
写の360度回転のシーンも実行中に空間内の透明度のが分かるように透明度
の調整が可能になっている。
キーワード: 人工現実感、 パノラミックナビゲーション、イメージベーストレンダリング"
- Wednedsay, 16:40-17:40: 328-E/F
-
-
SIP Narrowcasting: Articulated Control of Distributed Attention and Privacy for Multipresent Multimedia Conferencing Using
"Multiplicity": Narrowcasting, Autofocus, and Anycasting for Multipresence Spatial Audio;
ナローキャスティング 〜多地点会議の参加者・メディア・方向制御 と「Multiplicity」: オーディオ マルチプレゼンス 存在かたくさんん
We have developed and integrated various multimodal
I/O devices
into a virtual reality groupware system.
An exocentric model in which a user is represented by an avatar
in the context
of a virtual space is useful in spatial sound directionalization.
This thesis presents an interface
supporting
spatial audio multipresence
with narrowcasting functions in a collaborative virtual environment
implemented in a Java3D application, "Multiplicity."
The interface allows interaction with other clients in our groupware suite
(including mobile phone,
stereographic panoramic browser,
and multi-speakers system).
This interface explicitly models not only talker (source) but also location,
orientation, and multiplicity of listener (sink).
The interface supports generalization of narrowcasting,
a narrowing of stimuli by explicitly blocking out and/or
concentrating on selected avatars:
mute and solo (cue) to exclude and include sources
manifest for sinks as
deafen and attend.
Such functions can be applied not only to other users' avatars for privacy,
but also to one's own to exploit multipresence.
Multiple avatars designated by a single user
effectively increases one's presence
in the same virtual space.
Figurative representations of exclude and include functions
are introduced,
virtual hands clapped over respective avatars' ears and mouths.
私たちは仮想空間においての多様性のあるデバイスを開発し、
それをヴァーチャルリアリティーに統合しました。「Avatar」(アバター)と
よばれる3Dの人形でユーザー自身を仮想空間の中で表現している外心的モデル
は空間音響の効果を操作するのに有用です。この論文はCVEと呼ばれる仮想空間内
での"マルチプレゼンス"(自分の存在を複数に分けること)を体感できる
"Multiplicity"(マルチプリシティ)というアプリケーションを紹介しています。
このアプリケーションは仮想空間を利用した会議、チャットスペース、コンサート
などに利用できると考えています。このインターフェイスは他のクライアント
(iαppli)などのアプリケーションやスピーカシステムのような装置のこと)
と相互に影響し合うことができます。つまり「Multiplicity」で何か操作をした場合、
あるiαppliにも何かしらの影響を与えられ、またその逆も可能というように
互いに関連性を持つことができます。このインターフェイスはソース(話し手、
音源)の位置を表示するだけでなく、シンク(聞き手)の位置、方向なども
わかりやすいように表示しています。ナローキャスティングという機能も
サポートしています。ナローキャスティングはある話し手の口をふさいで
黙らせる(mute)、ある聞き手の耳をふさいで聞かせなくする(deafen)という
排除的機能と、ある話し手だけが限定して話すことができる(solo)、
ある聞き手だけが限定して聞くことができる(attend)という包含的機能によって
成り立っています。この機能によりプライベートな話も話すことができ、
また興味深い話などに集中することができます。また、その機能を視覚的に表示
することで、どのアバターがどういう状況になっているのか見た目で判断すること
ができます。ユーザーは複数の"avatar"を配置することで仮想空間内に配置した
"avatar"の数だけ自身の存在を増やすことができます。
- Visual Swivel "Schaire" Tracking and Extended "VR4U2C";
視覚的回転式椅子の動作認識とExtended "VR4U2C"
This study is aiming to investigate potential of an ordinary swivel chair as a novel input device to obtain much devotion for Virtual Reality and metaphor of curtain in such situation.
This investigation consists of two parts. One is Visual Swivel Chair Tracking.
In this part, the markers’ motion attached on the swivel chair’s arm rests are tracked by image processing techniques from video stream captured by ceiling cam.
The other is Extended VR4U2C. This is one of browser based on VR4U2C developed by Spatial Media Group in University of Aizu.
It enables us to experience Virtual Reality world constructed with QuickTime VR technology. Extended-VR4U2C performs as a curtain on the screen.
This metaphor has a potential to modify window size by some gestures in further research, and looking around in the Virtual Reality world.
この研究は普通の回転式椅子をバーチャルリアリティの為の入力装置として使い、またバーチャル世界のスクリーンにカーテンをかける(ウインドウの大きさを自動的に変える)ことを目標にしています。
主に二つの柱からなっており、ひとつは視覚的回転式椅子の動作認識です。
これは回転式椅子の肘掛に取り付けられたマーカーの動きを天井に取り付けたカメラからの画像を画像処理の手法を用いて認識します。
もう一つはExtended VR4U2Cです。これは以前私たちの研究室で開発したVR4U2C (Virtual Reality for (4) You to (2) See (C))というソフトウエアを基にしています。
これはQuickTime VRという技術を用いてユーザがバーチャルリアリティを簡単に体験することが出来るというソフトウエアです。
Extended VR4U2Cはこれに加えてまるでバーチャル世界にかかるカーテンのように動作します。
これは将来、何かのジェスチャーでウインドウの大きさを変えることができるようになる、というだけでなく私たちが現実世界の中で普段やっているのと同じく、バーチャル世界の中を見渡す、といったことが出来るようになるという可能性があります。。
- Networked Dual Driving Simulator with Force-Feedback;
における、フォースフィードバックホイールの統合
We describe a way to feedback the simple collision effect in the Networked Driving Simulator via Force FeedBack Wheel to driver. The technique employs programs using C++ and DirectInput, and escapes the execution file from the Networked Driving Simulator, which is implemented with Java3D. The pattern of effect is changed by the arguments of execution file. DirectInput can control the hardware directly; so real-time response can be achieved.
Networked Driving Simulatorに、衝突時のフォースフィードバック機能を実装し、ドライバーにシンプルな衝撃力を伝える方法を説明します。その方法は、C++とDirectInputを使用してフォースフィードバックの為の実行ファイルを作成し、その実行ファイルをJavaで構築されているNetworked Driving Simulatorから呼び出すというものです。フォースフィードバックするエフェクトのパターンは、実行時の引数として指定します。DirectInputを使用することによりハードウェアを直接制御出来、リアルタイムな応答を実現することができます。
この研究により、ドライバーは衝突をよりリアルに感じることができます。
- "Goldenear": Realtime Consonance Maximization;
この研究はコンピュータミュージックに関するものである。和音と、コンピュータを用いてリアルタイムに不協和音を減少させる方法について研究をしている。過去の研究がMIDIを用いたものであったのに対し、実在の音に焦点を当てているという点で私の研究はより重要なものであるといえる。私の提案するシステムを用いることで、楽器や音の音程や調律に関わることなく最良の和音を得ることができるようになる。
- Mobile Control of a LAN-tap;
携帯のLan-tapのコントロール
- Models of the University with Sketch-Up in Google Earth
Using Google Sketchup, I'm building U. of A. on Virtual World.
As an advantage, everyone who use Sketchup can place his model on Google Earth.
This means that we can make up another Earth cooperative.
After the project ends, we can use this second Earth in various fields.
For example, we can know the geographical features of unknown places,
or we can enjoy the travel through the Virtual Space.
In addition, we might get more realistic car-navigation system.
私は、Google Sketchupを用いて仮想空間に会津大学を作っています。
Googele Sketchupを使う利点として、作ったモデルをGoogle Earth上に配置することができ、
世界中のスケッチアップユーザーがモデルを追加していくことで、仮想空間に地球を作ることができます。
この第二の地球が完成すれば、自分が実際に訪れたことのない場所の地形を見たり、
仮想地球の旅を楽むことができる上、よりリアルなカーナビなどへの応用へと繋がると考えています。
This page: http://www.u-aizu.ac.jp/~mcohen/welcome/ISSM/07-08/demonstrations.html