ISSM Demonstrations (16-17.10.07)

Spatial Media: 3D Computer Graphics and Audio;
スペーシャル メディア: 3次元CGと立体音響

Tuesday, Wednedsay; Oct. 16-17, 2007


Contributors
Faculty Advisor
Administrative and Technical Assistance
  • Iwasaki Junichi; 岩崎 淳一 (会津大学 UBIC)
Doctoral Students
2nd Year Masters Students
1st year Masters students
Graduation Research students
Undergraduate Research Assistants
  • Yoshinori Moriguchi; 森口 慶紀

Abstract
The synergetic convergence of telephones, computers, televisions, high fidelity stereos, robotics, and visual displays enables a consumer-level participation in multimedia and its cousin "virtual reality." New idioms of computer-human interaction encourage different styles of communication. This seminar traces the development of some emerging media and interaction modalities, including games and amusements, simulators, movies, teleconferencing, and mobile phone applications.
We will use the unique facilities of the UBIC's 3D Theater, including its immersive visual display and speaker arrays, to demonstrate some research being done locally by faculty and students, explaining and showing examples of spatial media, visual music, and virtual reality.

概略
電話、コンピュータ、テレビ、音響機器、ロボットなどを 組み合わせることによって、一般の人がマルチメディアや バーチャルリアリティを体感できます。 今や人間とコンピュータの間で行われるやり取りは、キーボードによる 入力とディスプレイによる出力だけではなく、様々な方法があります。 たとえば、入力ではハンドル型のコントローラー、マウスとGUI(画面に 表示されているボタンやメニューバーなどのこと)、マイクによる音声入力、 などの多彩な方法があります。出力においても、ただの音だけではなく ステレオや5.1chのサラウンドシステムを使った立体音響や、フォース フィードバックのような触覚への刺激があります。 この講座では、上記のような人間とコンピュータの間のやり取りの手段を研究し、 ゲーム、シュミレータ、映画、電話会議、アミューズメントパークの 体感アトラクション、そして携帯文化などの既存のメディアの開発を行っています。 会津大学の敷地内にはUBIC(産学イノベーションセンター)という施設があり、 そこには、大きなスクリーンと、観客を取り囲む8つのスピーカーが備わった 仮想空間を作り出すユニークな設備があります。私たちはこの設備を使って バーチャルリアリティや立体音響、また携帯端末によるそれらの操作などの デモンストレーションを行います。

Program
Tuesday, 10:40-11:40: UBIC 3D Theater
  • "i・Con" Mobile Phone Interface: Remote control 3D sounds and images by mobile phone;
    i・Con」: 携帯電話による音響や映像の制御: 携帯コントロルと協調仮想環境の為のグループウェア We have developed an interface for narrowcasting (selection) functions for a networked mobile device deployed in a CVE (collaborative virtual environment). Featuring a variable number of icons in a "2.5D" application, the interface can be used to control motion, sensitivity, and audibility of avatars in a teleconference or chatspace. The interface is integrated with other CVE clients through a "servent" (server/client hybrid) HTTP -> TCP/IP gateway, and interoperates with a heterogeneous groupware suite to interact with other clients, including stereographic panoramic browsers and spatial audio backends and speaker arrays. Novel features include mnemonic conferencing selection function keypad operations, multiply encoded graphical display of such non-mutually exclusive attributes, and explicit multipresence features.
    携帯電話による音響や映像の制御:私たちはナローキャスティング(情報の送受信の方法をコントロールする手法)の機能を持つCVEク ライアントとしての携帯機器の開発を行いました。2.5次元の空間内に可変数のアイコンを配置しそれらを操作することによって、通信会議などを行う際に情 報の取捨選択を可能にします。これらの機能はサーバント(サーバーとクライアント両者の性質を持つ)を利用して、立体画像ブラウザや立体音響システムなど の他のソフトと連動します。斬新な特徴として、キーパッドを利用したオブジェクトの選択や移動、各種特徴の付与解除、そしてそれらをグラフィカルに表示す る機能を持ちます。 関連キーワードなど:可聴・不可聴の選択、CSCW(コンピュータを用いた共同作業)、指向性のあるス テレオサウンドの表示、グループウェア、モバイルコンピューティング、ナローキャスティング、音域重ね合わせ、明確なユーザーインターフェース、立体音 響、通信会議携帯電話による音響や映像の制御:私たちはナローキャスティング(情報の送受信の方法をコントロールする手法)の機能を持つCVEク ライアントとしての携帯機器の開発を行いました。2.5次元の空間内に可変数のアイコンを配置しそれらを操作することによって、通信会議などを行う際に情 報の取捨選択を可能にします。これらの機能はサーバント(サーバーとクライアント両者の性質を持つ)を利用して、立体画像ブラウザや立体音響システムなど の他のソフトと連動します。斬新な特徴として、キーパッドを利用したオブジェクトの選択や移動、各種特徴の付与解除、そしてそれらをグラフィカルに表示す る機能を持ちます。

  • Musical Spatial Gestures with a Breath Controller;
    ブレスコントローラによる音の空間的な動作
    • Konno Yuki; 今野 夕貴
    It is possible to send location data in ordinary MIDI messages, but such control is only 1-dimensional, lateral panning (left or right). We demonstrate performance-time modulation of spatial music, displayed through the UBIC 3D Theater's speaker array and steered by dynamic interpretation of parameters sensed by a breath controller, not such message. For example, we divide the space into 12 parts such as clock face, assign each part with 12 notes of octave. Then, if the breath controller play, its note sounds such assigned place. This project explores spatial expression of music, as a MIDI breath controller is used not only for synthesis, but for control of spatial modulation, allowing the notes to dance around the room, directed by various attributes of the performance.
    通常のMIDIメッセージの中に位置の情報を含めることは出来ますが、それは中心から 左右どちらに振れているかという1次元的情報です。 この研究ではそれらの情報ではなく、ブレスコントローラの動的な演奏によって 感知されるパラメータを操作し、UBIC 3Dシアターのスピーカーアレイを介し ディスプレイされるリアルタイムの演奏によって空間的な音楽の変化を作り出す プログラムを紹介します。 例えば、1オクターブの中に含まれる12の音を時計の文字盤のように円周上に配置し、 発音された時それぞれの音に対応した位置で鳴らすようにすることが出来ます。 このプロジェクトではMIDIブレスコントローラを電子楽器としてだけではなく、 空間においての変化をコントロールするために用いることによって、音が部屋の中を 踊るように動くことを可能にするなど様々な特徴を持ったパフォーマンスを可能にする 空間的な音楽の表現を探っています。
  • Spin-Around: Phase-locked Synchronized Rotation and Revolutino in Multi-standpoint Panororamic Browsers
    • Ishara Anupama Jayasingha; イシャラ ジャヤシンハ
    Using multistandpoint panoramic browsers as displays, we have developed a control function that synchronizes revolution and rotation of a visual perspective around a designated point of regard in a virtual environment. The phase-locked orbit is uniquely determined by the focus and the start point, and the user can parameterize direction, step size, and cycle speed, and invoke an animated or single-stepped gesture. The images can be monoscopic or stereoscopic, and the rendering supports the usual scaling functions (zoom/unzoom). Additionally, via sibling clients that can directionalize realtime audio streams, spatialize HDD-resident audio files, or render rotation via a personal rotary motion platform, spatial sound and propriceptive sensations can be synchronized with such gestures, providing complementary multimodal displays.

  • Gestural Control of Virtual Environments Using a Sudden Motion Sensor;
    • Kobayashi Jyunya; 小林 純哉
    The Sudden Motion Sensor on Macintosh laptop computers features a gyroscopic sensor that can track the orientation of the computer. By connecting this sensor to a virtual reality interface, tilting the computer can be used to control the position (location and/or orientation) of avatars, which can in turn control the spatialization of sound. This gestural control suggests a new paradigm for computer-human interaction, using the postion of the computer directly instead of devices like a mouse or track-pad.
    マックPCについているSMSという機能はコンピュータの動きを計ることのできるジャイロスコープのことです。このセンサをバーチャルリアリティインターフェイスに接続することによって、順番に音の空間化を制御することができるアバターの位置(位置またはオリエンテーション)を制御するのにコンピュータを傾けることによって行います。 これらはコンピュータと人との交流のために、直接マウスやトラックパッドなどの代わりにコンピュータの位置を使用するといった、あたらしい発想を示します。

  • Ocular Music
    We address the problem of visualizing microtuned scales and chords such that each representation is unique and therefore distinguishable. Using colors to represent the different pitches, we aim to capture aspects from the musical scale impossible to represent with numerical ratios. Inspired by the neurological phenomenon known as synæsthesia, we built a system to reproduce microtuned MIDI sequences aurally and visually. This system can be related to Castel’s historic idea of the ‘Ocular Harpsichord.’

  • Helical Keyboard with Melodic & Harmonic Stretching;
    螺旋型キーボードとその音階・倍音の拡張 The Helical Keyboard is a Java application for visualization and auralization of music based on the cyclical and linear nature of the musical scale, as explained by Shepard and Pierce. In this model, keys of a musical keyboard are organized in a helix where each pitch-class has the same azimuth and the lowest frequencies are located at the bottom end of the helix. The standard helix has one revolution per octave, and each octave is divided into twelve intervals of the same size (twelve tones, equal tempered). It allows visualization of chords by polygons connecting the constituent notes of the chord, and features depth cues using chromastereoptic techniques. Also, it can recognize basic chords and their inversions in real-time. The Helical Keyboard can be driven by MIDI events, and the user can choose among several mechanisms provided to synthesize the stream. This stream is spatialized by a spatial sound display, directionalizing each note played in the helix. One interesting feature of this model is the decoupling of the visual display and the aural display: The helix can be shown from an outside perspective, but the sound is rendered as if the user were in the axis of the helix. The Helical Keyboard renders the aural display in stereo or via a DSP-driven hemispherical loudspeaker array. There are several ways in which the user can interact with the 3D model in real time, including rotating the helix vertically and around its axis, translating it vertically, zooming in and out, changing the stretching ratio, and playing the notes over the helix as well as in a traditional keyboard widget.
    螺旋型キーボードとその拡張。通常のピアノの鍵盤は横に並んでいますが、この螺旋(らせん型キーボード)は鍵盤が縦に渦巻いて、縦に細長い形状になっています。このような形で1オクターブを円1周とすることで、視覚的に音楽を理解しやすくなります。私達はこのキーボードを、1オクターブを通常の12音から違う数へ増減させたり、それに合わせて調律を変化させることが出来るように拡張しました。これより、現在楽しまれている西洋の音階を使った音楽に加えて、様々な伝統的民族音楽をも演奏することが出来るようになります。
  • "VR4U2C" ('Virtual Reality for You to See'): Panoramic, Turnoramic (Object), and Stereographic Imaging;
    「VR4U2C」: パノラミック, オブジェクト, と ステレオグラフィック イメージング One of the first principles of immersive visual display is to fill the user's field of view with imagery, often of a single environment, sometimes an actual place remotely viewed in space and/or time. Although many hardware components for constructing such immersive visual displays can be purchased at reasonable cost, no general-purpose software system was readily available to integrate such devices under computer-based interactive control. To address these needs, particularly for the more specialized components typically used in stereographic display systems, we have developed a multiuser multiperspective panoramic and turnoramic (object movie) browser, using Apple's QuickTime VR technology and the Java programming language with the support of the "QuickTime for Java" application programming interfaces (API). This novel QTVR browser allows coordinated display of multiple views of a virtual environment, limited practically only by the size and number of monitors or projectors available around users in various viewing locations. Named "VR4U2C" ("virtual reality for you to see"), the browser is one of many integrated clients in the University of Aizu Spatial Media Group's multimodal groupware suite and interoperates seamlessly with them. VR4U2C can be used interactively to explore and examine detailed multidimensional, virtual environments (photorealistic or otherwise) using a computer and conventional input devices--- including mouse, trackball, rotary controller, track pad, and keyboard--- as well as more exotic interfaces--- including speaker array spatial audio displays, mobile phones, and swivel chairs with servomotor control. Through a unique multinode dynamic traversal technique, VR4U2C provides an elegant solution to the problem of interactive stereoscopic display of QTVR imagery.
    実体験のように感じる実画像表示の主な目的は、写真に写された実際の場所を画面 上で見渡すことです。そのような画像表示を実現するためのハードウェア部品は低価 格で購入できますが、一般用のソフトウェアシステムは、デバイスとコンピュータ基 底対話型コントロールの基で統合してすぐに利用することはできません。ステレオグ ラフィック表示システムで頻繁に使われる特別な部品の需要に応えるために、私たち はアップル社のQuickTime VR技術とJava言語を用い、JavaのためのQuickTimeアプリ ケーションプログラミングインターフェース(API)の支援を受け、パノラマ&オブ ジェクトムービーブラウザを開発しました。この斬新なQTVRブラウザにより、仮想環 境で視野を調整することができるようにうなりました。ただし、撮影位置、ユーザー の周りで使用できるモニターとプロジェクターの数とサイズにより、表示できる視野 は限られてしまいます。VR4U2Cというブラウザは会津大学の 空間的なメディアグループマルチモデルグループウェアにおけるクライアントのひと つです。VR4U2Cは、コンピュータと伝統的な入力装置(マウ ス、トラックボール、回転式コントローラ、トラックパド、キーボード)、その他の インターフェース(スピーカー配列空間オーディオ装置、携帯電話、サーボモーター コントロール付回転イス)を使用することにより、対話形式で多次元の仮想空間を表 現することができます。VR4U2Cは、動的な旋回技術であり、 QTVR画像を立体的に表示する際に生じ得る問題を解決することができます。

  • "Just Look At Yourself!": Stereographic Exocentric Visualization and Emulation of Stereographic Panoramic Dollying in VR4U2C;
    『自分自身をご覧なさい』: 立体視システムにおける自己中心的な視点移動の外側からの可視化とエミュレーション Previous research introduced the idea of stereographic panoramic browsing, via our VR4U2C client, subsequently extended to allow not only zooming, a simple magnification-driven manipulation of the image, but also dollying, allowing limited viewpoint motion--- enabled by multiple panoramic captures and enabling looming, viewpoint-selective occlusion and revealing of background scene objects. We have integrated this client with a sibling client based on Java3D, allowing realtime visualization of the dollying, and juxtaposition of stereographic CG (computer graphic) and IBR (image-based rendering) displays. The J3D application visualizes and emulates VR4U2C, integrating cylinders dynamically texture-mapped with a set of panoramic scenes into a 3D CG model of the same space as that captured by the set of panoramic scenes. The transparency of the CG 3D scene and also the photorealistic panoramic scene, as well as the size of the cylinder upon which it is texture-mapped, can be adjusted at runtime to understand the relationship of the spaces. Keywords: mixed reality/virtuality, image-based rendering, panoramic navigation.
    ステレオグラフィックエキソセントリックビジュアライゼイションと エゴセントリックパノラミックドリーングの模倣. 従来の私たちのグループの研究においてVR4U2Cのクライアントによる立体的な インターネット閲覧ソフトの発想を紹介したが、それに次いでイメージを簡単 に増率させる拡大表示だけではなく多数の360度回転のキャプチャーや、背 景の景色のオブジェクトの閉鎖や解放シーンを可能にさせるルーミングの技術 を用いてビューポイントモーションを特別に用いたドリーングまで拡大させた。 そして私たちは2つ目として、このVR4U2Cのクライアントに、ドリーングのリ アルタイムな透視や立体的なコンピュータグラフィックとイメージベーストレ ンダリングの表示を並列させたJava3Dを基にしたクライアントを調和させた。 Java3DのアプリケーションはVR4U2Cを模倣して視覚化させ、ダイナミックにテ クスチャーが貼られたシリンダーに、この実写の360度のシーンの設置され た空間と同じ空間に3次元コンピュータグラフィックのモデルの360度のシ ーンの設置を組み込んだ。また、3次元コンピュータグラフィックシーンや実 写の360度回転のシーンも実行中に空間内の透明度のが分かるように透明度 の調整が可能になっている。 キーワード: 人工現実感、 パノラミックナビゲーション、イメージベーストレンダリング"

Wednedsay, 16:40-17:40: 328-E/F
  • SIP Narrowcasting: Articulated Control of Distributed Attention and Privacy for Multipresent Multimedia Conferencing Using "Multiplicity": Narrowcasting, Autofocus, and Anycasting for Multipresence Spatial Audio;
    ナローキャスティング 〜多地点会議の参加者・メディア・方向制御 と「Multiplicity」: オーディオ マルチプレゼンス 存在かたくさんん We have developed and integrated various multimodal I/O devices into a virtual reality groupware system. An exocentric model in which a user is represented by an avatar in the context of a virtual space is useful in spatial sound directionalization. This thesis presents an interface supporting spatial audio multipresence with narrowcasting functions in a collaborative virtual environment implemented in a Java3D application, "Multiplicity." The interface allows interaction with other clients in our groupware suite (including mobile phone, stereographic panoramic browser, and multi-speakers system). This interface explicitly models not only talker (source) but also location, orientation, and multiplicity of listener (sink). The interface supports generalization of narrowcasting, a narrowing of stimuli by explicitly blocking out and/or concentrating on selected avatars: mute and solo (cue) to exclude and include sources manifest for sinks as deafen and attend. Such functions can be applied not only to other users' avatars for privacy, but also to one's own to exploit multipresence. Multiple avatars designated by a single user effectively increases one's presence in the same virtual space. Figurative representations of exclude and include functions are introduced, virtual hands clapped over respective avatars' ears and mouths.
    私たちは仮想空間においての多様性のあるデバイスを開発し、 それをヴァーチャルリアリティーに統合しました。「Avatar」(アバター)と よばれる3Dの人形でユーザー自身を仮想空間の中で表現している外心的モデル は空間音響の効果を操作するのに有用です。この論文はCVEと呼ばれる仮想空間内 での"マルチプレゼンス"(自分の存在を複数に分けること)を体感できる "Multiplicity"(マルチプリシティ)というアプリケーションを紹介しています。 このアプリケーションは仮想空間を利用した会議、チャットスペース、コンサート などに利用できると考えています。このインターフェイスは他のクライアント (iαppli)などのアプリケーションやスピーカシステムのような装置のこと) と相互に影響し合うことができます。つまり「Multiplicity」で何か操作をした場合、 あるiαppliにも何かしらの影響を与えられ、またその逆も可能というように 互いに関連性を持つことができます。このインターフェイスはソース(話し手、 音源)の位置を表示するだけでなく、シンク(聞き手)の位置、方向なども わかりやすいように表示しています。ナローキャスティングという機能も サポートしています。ナローキャスティングはある話し手の口をふさいで 黙らせる(mute)、ある聞き手の耳をふさいで聞かせなくする(deafen)という 排除的機能と、ある話し手だけが限定して話すことができる(solo)、 ある聞き手だけが限定して聞くことができる(attend)という包含的機能によって 成り立っています。この機能によりプライベートな話も話すことができ、 また興味深い話などに集中することができます。また、その機能を視覚的に表示 することで、どのアバターがどういう状況になっているのか見た目で判断すること ができます。ユーザーは複数の"avatar"を配置することで仮想空間内に配置した "avatar"の数だけ自身の存在を増やすことができます。

  • Visual Swivel "Schaire" Tracking and Extended "VR4U2C";
    視覚的回転式椅子の動作認識とExtended "VR4U2C" This study is aiming to investigate potential of an ordinary swivel chair as a novel input device to obtain much devotion for Virtual Reality and metaphor of curtain in such situation. This investigation consists of two parts. One is Visual Swivel Chair Tracking. In this part, the markers’ motion attached on the swivel chair’s arm rests are tracked by image processing techniques from video stream captured by ceiling cam. The other is Extended VR4U2C. This is one of browser based on VR4U2C developed by Spatial Media Group in University of Aizu. It enables us to experience Virtual Reality world constructed with QuickTime VR technology. Extended-VR4U2C performs as a curtain on the screen. This metaphor has a potential to modify window size by some gestures in further research, and looking around in the Virtual Reality world.
    この研究は普通の回転式椅子をバーチャルリアリティの為の入力装置として使い、またバーチャル世界のスクリーンにカーテンをかける(ウインドウの大きさを自動的に変える)ことを目標にしています。 主に二つの柱からなっており、ひとつは視覚的回転式椅子の動作認識です。 これは回転式椅子の肘掛に取り付けられたマーカーの動きを天井に取り付けたカメラからの画像を画像処理の手法を用いて認識します。 もう一つはExtended VR4U2Cです。これは以前私たちの研究室で開発したVR4U2C (Virtual Reality for (4) You to (2) See (C))というソフトウエアを基にしています。 これはQuickTime VRという技術を用いてユーザがバーチャルリアリティを簡単に体験することが出来るというソフトウエアです。 Extended VR4U2Cはこれに加えてまるでバーチャル世界にかかるカーテンのように動作します。 これは将来、何かのジェスチャーでウインドウの大きさを変えることができるようになる、というだけでなく私たちが現実世界の中で普段やっているのと同じく、バーチャル世界の中を見渡す、といったことが出来るようになるという可能性があります。。

  • Networked Dual Driving Simulator with Force-Feedback;
    における、フォースフィードバックホイールの統合 We describe a way to feedback the simple collision effect in the Networked Driving Simulator via Force FeedBack Wheel to driver. The technique employs programs using C++ and DirectInput, and escapes the execution file from the Networked Driving Simulator, which is implemented with Java3D. The pattern of effect is changed by the arguments of execution file. DirectInput can control the hardware directly; so real-time response can be achieved.
    Networked Driving Simulatorに、衝突時のフォースフィードバック機能を実装し、ドライバーにシンプルな衝撃力を伝える方法を説明します。その方法は、C++とDirectInputを使用してフォースフィードバックの為の実行ファイルを作成し、その実行ファイルをJavaで構築されているNetworked Driving Simulatorから呼び出すというものです。フォースフィードバックするエフェクトのパターンは、実行時の引数として指定します。DirectInputを使用することによりハードウェアを直接制御出来、リアルタイムな応答を実現することができます。 この研究により、ドライバーは衝突をよりリアルに感じることができます。

  • "Goldenear": Realtime Consonance Maximization;
    この研究はコンピュータミュージックに関するものである。和音と、コンピュータを用いてリアルタイムに不協和音を減少させる方法について研究をしている。過去の研究がMIDIを用いたものであったのに対し、実在の音に焦点を当てているという点で私の研究はより重要なものであるといえる。私の提案するシステムを用いることで、楽器や音の音程や調律に関わることなく最良の和音を得ることができるようになる。

  • Mobile Control of a LAN-tap;
    携帯のLan-tapのコントロール
    • Takenori Nakamura; 中村 健雄

  • Models of the University with Sketch-Up in Google Earth
    Using Google Sketchup, I'm building U. of A. on Virtual World. As an advantage, everyone who use Sketchup can place his model on Google Earth. This means that we can make up another Earth cooperative. After the project ends, we can use this second Earth in various fields. For example, we can know the geographical features of unknown places, or we can enjoy the travel through the Virtual Space. In addition, we might get more realistic car-navigation system.
    私は、Google Sketchupを用いて仮想空間に会津大学を作っています。 Googele Sketchupを使う利点として、作ったモデルをGoogle Earth上に配置することができ、 世界中のスケッチアップユーザーがモデルを追加していくことで、仮想空間に地球を作ることができます。 この第二の地球が完成すれば、自分が実際に訪れたことのない場所の地形を見たり、 仮想地球の旅を楽むことができる上、よりリアルなカーナビなどへの応用へと繋がると考えています。

This page: http://www.u-aizu.ac.jp/~mcohen/welcome/ISSM/07-08/demonstrations.html