Human Interface & Virtual Reality (A06: Applications); ヒューマン インターフェイスと仮想現実 (A06: Applications)
2012-13 年（4年後期）

Syllabus; 授業概説

Summary & Description; 概要
This course introduces advanced undergraduates and graduate students to the basics of human interface technology and the virtual reality paradigm, especially through "desktop VR" (a.k.a. "fishtank VR"). We use a project-based, "hands-on" approach, emphasizing creation of self-designed virtual worlds. The main vehicle of expression is "Alice," an object-oriented, graphical 3D scenario IDE (integrated development environment), to contextualize segments on "desktop virtual reality," color (and color gradients), graphical & visual design, texture mapping, sound, music, & dialog, as well as software engineering. Segments on stereoscopy and 360-degree panoramic image-based rendering ("panos" = panoramic images, "turnos" = object movies) are also included. We also use Mathematica, SumoPaint, and Audacity & GarageBand as support tools for multimedia content creation. At the end of the term, time permitting, we introduce "Open Wonderland" and/or "Second Life" as immersive "groupware" (software for groups). The power of experiential education is leveraged by lessons with an emphasis on practical experimentation, learning by doing.
この講座では学部生や大学院生を対象に、特にデスクトップVR（別名、fishtank VR）を通してヒューマンインターフェースの技術と仮想現実の範例を紹介します。講座では自身でデザインした仮想世界の作成を実際に行います。主に、オブジェクト指向で3Dシナリオ統合開発環境である「Alice」を用いて、ソフトウェア工学同様、デスクトップVR、色彩 (とカラー勾配)、図形・視覚のデザイン、テクスチャマッピング、音、音楽、対話の分野の表現を行います。立体視と360度パノラマイメージベースドレンダリング（"panos" = パノラマ画像, "turnos" = オブジェクトムービー）の分野も含まれます。また、マルチメディアコンテンツ製作のためにMathematica、 SumoPaint、Audacity、GarageBandなどのソフトも用います。 学期末には、時間があればグループウェア（ネットワークを利用してグループ間で情報をやりとりできるソフトウェア）として有名な「Open Wonderland」や「Second Life」の紹介をを行います。 実用的な実験、体験的なレッスンなどに力を入れています。
Course Objectives; 講座の目的
We survey human interfaces, including demonstrations and "hands-on" exercises with basics of multimedia: color models, image capture and compositing, graphic composition and 3D drawing, texture mapping, panoramic/turnoramic imagery & IBR (image-based rendering), stereography, and audio (including dialog) & musical editing. Students use self-designed multimodal interfaces authored with object-oriented techniques to tell a story with virtual characters and cinematography (camera motion and gestures, "camerabatics") for deterministic "machinema" (machine cinema = computer-generated movies) and to engage users in dynamic environments such as games and digital interactive story-telling, exportable as interactive web sites.
マルチメディアの基礎課題を実践しながらヒューマンインターフェースについて学びます。マルチメディアにはカラーモデル、画像の取り込みと合成、グラ フィックの合成と 3D描画、テクスチャマッピング、パノラマ/ターノラマ画像とIBR（イメージベースドレンダリング）、立体視、音響（対話を含む）、音楽編集などがあり ます。仮想のキャラクターやコンピュータで製作された映画用の映画撮影術を用いて物語を製作し、ゲームやインタラクティブなウェブサイトのような動的な環 境にユーザーを引き込むためにオブジェクト指向技術で製作された自身で製作した多様なインターフェースを学生は用いる。
Lecturer; 講義担当教員
Teaching Assistants
Office hours
by appointment
Class meetings
Administration
Assessment: Student Evaluation Method (Grading); 学生評価方法
Most of the coursework involves lab exercises emphasizing creative applications of digital contents creation tools, highlighting design and invention as much as discovery. Weekly "checkpoint" exercises verify specific skill sets--- including scenario authoring and storyboarding, drawing and painting, color models and specification, digital compositing (layers, overlays, texture mapping), stereography (autostereograms, anaglyphics, chromastereoscopy, including 3D drawing), audio editing SFX (sound effects), dialog generated with TTS (text-to-speech) synthesis tools, and DTM for BGM (desk-top music composition for background music)--- progressively accumulating into fully realized virtual worlds or stories. There are also creative studio exercises, occasional quizzes, and mid-term and final exams. The course's annual chromastereoptic art contest is juried, and winning entries are exhibited in a special display in the University library. Students also contribute panoramic images to a virtual hyperlinked tour of the University. Student scenarios (plays, movies, & games), highlighting originally created worlds and spaces, composed individually (mid-term) and as teams (end-of-term), are presented to the entire class in special review sessions.
必要な技術が身に付いているかを毎週『チェックポイント』課題で、発見やデザインの確認をします。 シナリオ製作と絵コンテ製作、絵描きと色塗り、カラーモデルと仕様、デジタル合成（レイヤー・オーバレイ・テクスチャマッピング）、立体視（3D図面を含 むオートステレオグラム・ランダムドットステレオグラム・アナグリフ・クロマステレオスコープ）、SFXを用いた音声編集、TTSによる音声との対話、 BGM用のデスクトップ音楽の合成を通じて、仮想世界とストーリーを徐々に製作していきます。クリエイティブスタジオでの課題と時折クイズ、中間試験、期末試験があります。ク ロマステレオスコピックアートコンテストを開催し、優秀な作品は大学図書館に展示されます。また、授業中に撮影したパノラマ写真は大学仮想ハイパーリンク ツアーにも用いられます。「Alice」を用いてシナリオ、動画、ゲームなどの独創的な作品を製作します。中間試験は個人製作、期末試験ではチームで製作 し、スペシャルレビューセッションで授業中に発表します。
Exercises: 35%, Exams: 25%, Indivdual Project: 20%, Group Project: 20%.
Textbook; 教科書
  • Reference (not required) textbook; 参考図書（購入の必要はない） Learning To Program with Alice (2nd Edition, Paperback), by Wanda P. Dann, Stephen Cooper, & Randy Pausch.
  • Students are required to purchase chromastereoptic and anaglyphic eyewear, available from the instructor.
    学生は授業中にアナグリフとクロマステレオスコピック用の立体視用めがねを購入する必要があります。
Prerequisities; 必要条件
None in particular beyond basic programming courses;
通常のプログラミングの講座以外特に無し
However, these courses are especially recommended:
  • L10: Multimedia Systems
  • P3: Java programming I
  • P6: Java Programming II
  • A2: Computer Graphics
Schedule or Themes; 講座予定/テーマ
Introduction to basic concepts related to physics; space (physical and otherwise) and topology; numbers and algorithmic complexity, including exponential processes; software engineering and programming (parameterization, randomization, recursion, data structures, event handling); interactive multimedia and sensory modalities; graphics and CG (computer graphics) rendering; CAD (computer-aided design); visual languages; stereopsis and binocular vision (autostereograms, SIRDs, anaglyphics, & chromastereoscopy, including 3D drawing); panoramic and turnoramic imagery and image-based rendering; sound, audio, TTS (text-to-speech synthesis), and SFX (sound effects) editing; DTM (desk-top music) composition for BGM (background music); interface paradigms, digital interactive story-telling, and machinima.
基本概念への導入は物理学に関係します。 スペース（物理的なものやその他）とトポロジー、指数プロセスを含む数とアルゴリズムの複雑性、ソフトウェア工学とプログラミング（パラメーター表示・ラ ンダム化・再帰・データ構造・イベント処理）、インタラクティブマルチメディアと知覚様式、グラフィックスとCGのレンダリング、CAD（コンピュータ設 計）、視覚言語、立体映像と立体視（3D図面を含むオートステレオグラム・ランダムドットステレオグラム・アナグリフ・クロマステレオスコープ）、パノラ マでターノラマなイメージとイメージベースドレンダリング、音・音響・TTS（text-to-speech synthesis）とSFX（sound effects）編集、BGM（background music）のためのDTM（desk-top music）作曲、インターフェースパラダイム、デジタルインタラクティブストリーテリングとメチネマ。
Tentative Schedule:
WeekExercize
1Space: Möbius Strip Slicing and Reticulation
2Scenarios & Narrative: Story-boarding
3 Photographic Imagery: Image Capture & Compositing PhotoBooth (E)
4 Visual Language, Drawing & Painting: Color & Graphic Composition SumoPaint
5 Texture Mapping: decaling and wall-papering Alice, SumoPaint
6 Dialog: TTS (text-to-speech synthesis) ATT Voices, Mac OS X "say", Repeat After Me, Mathematica
7 SFX (Sound Effects): Audio Editing & Mixing Audacity
8 BGM (Background Music): Desk-top Music Composition GarageBand
9 Individually-composed "Machinema" (machine cinema, or computer-generated CG movie) Alice
10 Image Processing Mathematica
11 IBR (Image-based Rendering): Panoramas ("panos") for virtual tour & Turnoramas ("turnos") for "object movies" "360 One VR" panoramic capture system, SpinImageDV, QuickTime
12 Stereopsis: Anaglyphics & 3D Drawing Neave anaglyphic 3D Drawing Applet, StereoMerger
13Chromastereoptics & 3D Drawing
14 Groupware and Online Communities Second Life, Open Wonderland
15 Digital Interactive Story-Telling: Group-composed Interactive Stories & Games Alice

Syllabus

Reference information: Software packages used and other references; 参考（授業ホームページ、図書など）

Asynchronous communication modes; 授業用 newsgroup/homepage の開設
授業日程の変更、授業内容に関する学生間、学生・教師間の意見交換などを 目的とした以下のニュースグループを開設する。
maintained by Michael Cohen