JP3453086B2 - Three-dimensional display method and head-mounted display device - Google Patents

Three-dimensional display method and head-mounted display device

Info

Publication number
JP3453086B2
JP3453086B2 JP13749299A JP13749299A JP3453086B2 JP 3453086 B2 JP3453086 B2 JP 3453086B2 JP 13749299 A JP13749299 A JP 13749299A JP 13749299 A JP13749299 A JP 13749299A JP 3453086 B2 JP3453086 B2 JP 3453086B2
Authority
JP
Japan
Prior art keywords
observer
display
dimensional
displayed
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP13749299A
Other languages
Japanese (ja)
Other versions
JP2000333211A (en
Inventor
史朗 陶山
英明 高田
員丈 上平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP13749299A priority Critical patent/JP3453086B2/en
Publication of JP2000333211A publication Critical patent/JP2000333211A/en
Application granted granted Critical
Publication of JP3453086B2 publication Critical patent/JP3453086B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、三次元表示方法お
よびヘッドマウントディスプレイ装置に係わり、特に、
三次元立体像を情報量を少なくして、電子的に動画再生
できる三次元表示方法およびヘッドマウントディスプレ
イ装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional display method and a head mounted display device, and in particular,
The present invention relates to a three-dimensional display method and a head mounted display device capable of electronically reproducing a moving image by reducing the amount of information of a three-dimensional stereoscopic image.

【0002】[0002]

【従来の技術】従来の電気的に書き換え可能な動画の立
体表示を行うヘッドマウントディスプレイ装置として
は、図11に示すような平面表示装置がよく知られてい
る。この図11に示す平面表示装置は、液晶表示装置
(LCD)(53L,53R)と凸レンズ(54L,5
4R)を用いるものであり、以下、図11に示す平面表
示装置の原理について説明する。3次元物体501を異
なる方向から見た像(これを視差像と呼ぶ)を、例え
ば、カメラ(52L,52R)によって撮像する。この
カメラ(52L,52R)からの映像をそれぞれ左右の
液晶表示装置(53L,53R)に入力し、表示する。
観察者は、左右の液晶表示装置(53L,53R)の別
な表示画像を、それぞれ別々の凸レンズ(54L,54
R)を通して、左右の眼(55L,55R)で別々に観
察する。これにより、観察者は、同時に両眼により視差
像506を観察でき、両眼視差による立体視が可能とな
る。
2. Description of the Related Art As a conventional head-mounted display device for stereoscopically displaying electrically rewritable moving images, a flat display device as shown in FIG. 11 is well known. The flat panel display device shown in FIG. 11 includes a liquid crystal display device (LCD) (53L, 53R) and a convex lens (54L, 5L).
4R), and the principle of the flat panel display device shown in FIG. 11 will be described below. Images of the three-dimensional object 501 viewed from different directions (referred to as parallax images) are captured by, for example, cameras (52L, 52R). Images from the cameras (52L, 52R) are input to the left and right liquid crystal display devices (53L, 53R) and displayed.
The observer views the different display images of the left and right liquid crystal display devices (53L, 53R) by using different convex lenses (54L, 54R).
R) through left and right eyes (55L, 55R) separately. Thereby, the observer can observe the parallax image 506 with both eyes at the same time, and stereoscopic vision by binocular parallax is possible.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、前記図
11に示す平面表示装置では、奥行き方向の一定の範囲
における両眼視差を提示することはできるが、両眼視
差、輻輳と、眼のピントとの間に矛盾が生ずるため、自
然な立体視が困難である。即ち、前記図11に示す平面
表示装置では、眼のピントは凸レンズ(54L,54
R)の焦点距離と、液晶表示装置(53L,53R)の
位置により決定される位置に固定される。また、両眼の
輻輳角の変化量を大きくとるためには、液晶表示装置
(53L,53R)のサイズを精細度を保ちながらきわ
めて大きくする必要がある。このように、前記図11に
示す平面表示装置では、自然な立体視にとって必要な両
眼視差、輻輳、眼のピントとの間に矛盾が生じ、疲労感
を感じるという問題点があった。本発明は、前記従来技
術の問題点を解決するためになされたものであり、本発
明の目的は、立体視の生理的要因間での矛盾を抑制で
き、かつ電気的に書換え可能で、動画表示が可能な三次
元表示方法を提供することにある。また、本発明の他の
目的は、立体視の生理的要因間での矛盾を抑制でき、か
つ電気的に書換え可能で、動画表示が可能なヘッドマウ
ントディスプレイ装置を提供することにある。本発明の
前記ならびにその他の目的と新規な特徴は、本明細書の
記述及び添付図面によって明らかにする。
However, in the flat panel display device shown in FIG. 11, it is possible to present binocular parallax in a certain range in the depth direction, but binocular parallax, convergence, and eye focus are Since there is a contradiction between the two, natural stereoscopic vision is difficult. That is, in the flat panel display device shown in FIG. 11, the focus of the eye is the convex lens (54L, 54L).
It is fixed at a position determined by the focal length of R) and the position of the liquid crystal display device (53L, 53R). Further, in order to increase the amount of change in the vergence angle of both eyes, it is necessary to make the size of the liquid crystal display device (53L, 53R) extremely large while maintaining the definition. As described above, the flat panel display device shown in FIG. 11 has a problem in that there is a contradiction between binocular parallax, convergence, and eye focus necessary for natural stereoscopic vision, and a feeling of fatigue is felt. The present invention has been made to solve the above-mentioned problems of the prior art, and an object of the present invention is to suppress a contradiction between physiological factors of stereoscopic vision, and to electrically rewrite the moving image. It is to provide a three-dimensional display method capable of displaying. Another object of the present invention is to provide a head mounted display device capable of suppressing a contradiction between physiological factors of stereoscopic vision, electrically rewritable, and capable of displaying a moving image. The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.

【0004】[0004]

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。即ち、本発明は、観察者の左眼およ
び右眼のそれぞれに対して、奥行き位置の異なる複数の
表示面を配置し、前記観察者の左眼に対する複数の表示
面に左眼用の二次元像を、および、前記観察者の右眼に
対する複数の表示面に右眼用の二次元像を表示すること
により左右の眼それぞれに視差像を提示し、三次元立体
像を表示する三次元表示方法であって、表示対象物体を
前記観察者の左眼から見た視差像から、前記観察者の左
眼に対する各表示面に表示される二次元像が前記観察者
の左眼から見て重なるようにされた左眼用の複数の二次
元像を生成し、前記観察者の左眼に対する各表示面に表
示される二次元像の輝度を、各表示面毎に各々独立に変
化させて、前記観察者の左眼に対する各表示面に前記左
眼用の二次元像を表示し、また、表示対象物体を前記観
察者の右眼から見た視差像から、前記観察者の右眼に対
する各表示面に表示される二次元像が前記観察者の右眼
から見て重なるようにされた右眼用の複数の二次元像を
生成し、前記観察者の右眼に対する各表示面に表示され
る二次元像の輝度を、各表示面毎に各々独立に変化させ
て、前記観察者の右眼に対する各表示面に、前記右眼用
の二次元像を表示することを特徴とする。また、本発明
は、前記表示対象物体が、観察者に近い奥行き位置に表
示される物体である場合に、前記観察者の左眼に対する
複数の表示面のうちの観察者に近い表示面に表示する前
記左眼用の二次元像の輝度を高くし、観察者から遠い表
示面に表示する前記左眼用の二次元像の輝度を低くし、
かつ、前記観察者の右眼に対する複数の表示面のうちの
観察者に近い表示面に表示する前記右眼用の二次元像の
輝度を高くし、観察者から遠い表示面に表示する前記
眼用の二次元像の輝度を低くし、また、前記表示対象物
体が、観察者から遠い奥行き位置に表示される物体であ
る場合に、前記観察者の左眼に対する複数の表示面のう
ちの観察者に近い表示面に表示する前記左眼用の二次元
像の輝度を低くし、観察者から遠い表示面に表示する前
記左眼用の二次元像の輝度を高くし、かつ、前記観察者
の右眼 に対する複数の表示面のうちの観察者に近い表示
面に表示する前記右眼用の二次元像の輝度を低くし、観
察者から遠い表示面に表示する前記右眼用の二次元像の
輝度を高くすることを特徴とする。また、本発明は、
察者の見る総体的な輝度が元の表示対象物体の輝度と等
しくなるように、前記観察者の左眼に対する複数の表示
面に表示される前記左眼用の二次元像の輝度と、前記観
察者の右眼に対する複数の表示面に表示される前記右眼
用の二次元像の輝度を変化させることを特徴とする。ま
た、本発明は、観察者の左眼から見て奥行き位置がそれ
ぞれ異なる複数の表示面に左眼用の二次元像、および、
観察者の右眼から見て奥行き位置がそれぞれ異なる複数
の表示面に右眼用の二次元像を表示することにより左右
の眼それぞれに視差像を提示し、三次元立体像を表示す
るヘッドマウントディスプレイ装置であって、前記左眼
および右眼用の複数の表示面と、観察者の左眼および右
眼との相対的位置を固定する第1の手段と、表示対象物
体を前記観察者の左眼から見た視差像から、前記観察者
の左眼に対する各表示面に表示される二次元像が前記観
察者の左眼から見て重なるようにされた左眼用の複数の
二次元像を生成する第2の手段と、表示対象物体を前記
観察者の右眼から見た視差像から、前記観察者の右眼に
対する各表示面に表示される二次元像が前記観察者の右
眼から見て重なるようにされた右眼用の複数の二次元像
を生成する第3の手段と、前記第2の手段で生成された
左眼用の各二次元像を、前記左眼用の複数の表示面の少
なくとも2つの表示面に表示する第4の手段と、前記第
3の手段で生成された右眼用の各二次元像を、前記右眼
用の複数の表示面の少なくとも2つの表示面に表示する
第5の手段と、前記左眼用の少なくとも2つの表示面に
表示される前記左眼用の二次元像の輝度を、前記左眼用
の少なくとも2つの表示面毎に各々独立に変化させる第
6の手段と、前記右眼用の少なくとも2つの表示面に表
示される前記右眼用の二次元像の輝度を、前記右眼用の
少なくとも2つの表示面毎に各々独立に変化させる第7
の手段とを具備することを特徴とする。また、本発明
は、前記第4の手段、あるいは第5の手段は、複数の二
次元表示装置と、前記複数の二次元表示装置のうち観察
者より最も遠い奥行き位置に配置される二次元表示装置
と組み合わされ、当該二次元表示装置の表示を観察者の
視線上の像として配置する全反射鏡あるいは部分反射鏡
と、前記観察者より最も遠い奥行き位置に配置される二
次元表示装置以外の二次元表示装置と組み合わされ、各
二次元表示装置の表示をそれぞれ観察者の視線上の像と
して配置する部分反射鏡とから構成されることを特徴と
する。また、本発明は、前記第4の手段、あるいは第5
の手段は、複数の二次元表示装置と、前記複数の二次元
表示装置のうち観察者より最も遠い奥行き位置に配置さ
れる二次元表示装置と組み合わされ、当該二次元表示装
置の表示を観察者の視線上の像として配置する全反射鏡
とレンズの組合わせ、あるいは部分反射鏡とレンズの組
合わせと、前記観察者より最も遠い奥行き位置に配置さ
れる二次元表示装置以外の二次元表示装置と組み合わさ
れ、各二次元表示装置の表示をそれぞれ観察者の視線上
の像として配置する部分反射鏡とレンズの組合わせとか
ら構成されることを特徴とする。また、本発明は、前記
第4の手段、あるいは第5の手段は、観察者から見て異
なった奥行き位置に配置される透過状態と散乱状態の切
替制御が可能な複数の散乱板と、前記各散乱板に二次元
像を投射する複数の投射型二次元表示装置と、前記複数
の散乱板と前記複数の投射型二次元表示装置との間に配
置され、前記複数の散乱板の透過状態と散乱状態との切
替に同期して透過状態と遮断状態を切替る複数のシャッ
タとから構成されることを特徴とする。
Among the inventions disclosed in the present application, a brief description will be given to the outline of typical ones.
It is as follows. That is, the present invention arranges a plurality of display surfaces having different depth positions for each of the left eye and the right eye of the observer, and makes a plurality of displays for the left eye of the observer.
2D image for the left eye on the surface, and on the right eye of the observer
Displaying a two-dimensional image for the right eye into a plurality of display surfaces against
By presenting a parallax image to each of the left and right eyes, a three-dimensional display method for displaying a three-dimensional stereoscopic image, from the parallax image of the display target object viewed from the left eye of the observer, the left eye of the observer The two-dimensional image displayed on each display surface to generate a plurality of two-dimensional image for the left eye that is made to overlap from the left eye of the observer, on each display surface for the left eye of the observer The brightness of the displayed two-dimensional image is changed independently for each display surface, the two-dimensional image for the left eye is displayed on each display surface for the left eye of the observer, and the display target object From the parallax image viewed from the observer's right eye, for the right eye, the two-dimensional image displayed on each display surface for the observer's right eye is made to overlap when viewed from the observer's right eye. The brightness of the two-dimensional image displayed on each display surface for the right eye of the observer, which generates a plurality of two-dimensional images , It varied each independently for each display surface on the display surface for the right eye of the observer, and displaying the two-dimensional image for the right eye. Further, in the present invention, in the case where the display target object is an object displayed at a depth position close to the observer, the display target object is used for the left eye of the observer.
Before displaying on the display surface of multiple display surfaces close to the viewer
Increase the brightness of the two-dimensional image for the left eye, and
Lower the brightness of the two-dimensional image for the left eye displayed on the display surface,
And the right which the relative viewer's right eye is displayed on the display surface close to the viewer of the plurality of display surfaces to increase the brightness of the two-dimensional image for the right eye, displayed on the far display surface from the observer
When the luminance of the two-dimensional image for the eye is lowered and the display target object is an object displayed at a depth position far from the observer, a plurality of display surfaces for the left eye of the observer are displayed.
2D for the left eye displayed on the display surface close to the observer
Before displaying the image on a display surface that is far from the viewer by reducing the image brightness
The brightness of the two-dimensional image for the left eye is increased and the observer
Two-dimensional for the right eye of lowering the luminance of the two-dimensional image for the right eye to be displayed on the display surface close to the viewer of the plurality of display surfaces for the right eye, displayed on the far display surface from the observer The feature is that the brightness of the image is increased. Further, the present invention is such that overall luminance see the watch <br/>observation's equal to the luminance of the original display object, the display plural for the left eye of the observer
The brightness of the two-dimensional image for the left eye displayed on the screen,
The right eye displayed on a plurality of display surfaces for the observer's right eye
It is characterized in that the brightness of the two-dimensional image for use is changed. Further, the present invention is a two-dimensional image for the left eye on a plurality of display surfaces having different depth positions when viewed from the left eye of the observer, and
Left and right by displaying a two-dimensional image for the right eye on multiple display surfaces with different depth positions when viewed from the observer's right eye.
A head-mounted display device that presents a parallax image to each of the eyes and displays a three-dimensional stereoscopic image, and a plurality of display surfaces for the left eye and the right eye, and relative to the left eye and the right eye of the observer. From the first means for fixing the target position and the parallax image of the display target object viewed from the left eye of the observer, a two-dimensional image displayed on each display surface with respect to the left eye of the observer is displayed by the observer. Second means for generating a plurality of two-dimensional images for the left eye, which are made to overlap with each other when viewed from the left eye, and a parallax image of the display target object viewed from the right eye of the observer, to the right of the observer. Third means for generating a plurality of two-dimensional images for the right eye in which the two-dimensional images displayed on the respective display surfaces for the eyes are overlapped when viewed from the observer's right eye; and the second means. Each of the two-dimensional images for the left eye generated in step (1) is displayed on at least two tables of the plurality of display surfaces for the left eye. And a fifth means for displaying each two-dimensional image for the right eye generated by the third means on at least two display surfaces of the plurality of display surfaces for the right eye. Sixth means for independently changing the brightness of the two-dimensional image for the left eye displayed on the at least two display surfaces for the left eye for each of the at least two display surfaces for the left eye. And 7) changing independently the brightness of the two-dimensional image for the right eye displayed on the at least two display surfaces for the right eye for each of the at least two display surfaces for the right eye.
And means. Further, in the present invention, the fourth means or the fifth means comprises a plurality of two-dimensional display devices and a two-dimensional display arranged at a depth position farthest from an observer among the plurality of two-dimensional display devices. A total reflection mirror or a partial reflection mirror which is combined with a device and arranges the display of the two-dimensional display device as an image on the line of sight of the observer, and other than the two-dimensional display device arranged at the farthest depth position from the observer. It is characterized in that it is combined with a two-dimensional display device and comprises a partial reflecting mirror for arranging the display of each two-dimensional display device as an image on the line of sight of an observer. The present invention also provides the fourth means or the fifth means.
The means is combined with a plurality of two-dimensional display devices and a two-dimensional display device disposed at a depth position farthest from the observer among the plurality of two-dimensional display devices, and the display of the two-dimensional display device is observed by the observer. A combination of a total reflection mirror and a lens, or a combination of a partial reflection mirror and a lens, which is arranged as an image on the line of sight, and a two-dimensional display device other than the two-dimensional display device arranged at a depth position farthest from the observer. And a combination of a partial reflection mirror and a lens for arranging the display of each two-dimensional display device as an image on the line of sight of the observer. Further, in the present invention, the fourth means or the fifth means comprises a plurality of scattering plates arranged at different depth positions as viewed from an observer and capable of switching control between a transmission state and a scattering state, A plurality of projection type two-dimensional display devices for projecting a two-dimensional image on each scattering plate, and a transmission state of the plurality of scattering plates arranged between the plurality of scattering plates and the plurality of projection type two-dimensional display devices. And a plurality of shutters that switch between a transmission state and a blocking state in synchronism with switching between the scattering state and the scattering state.

【0005】[0005]

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。なお、実施の形態を説明す
るための全図において、同一機能を有するものは同一符
号を付け、その繰り返しの説明は省略する。
BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In all the drawings for explaining the embodiments, the same reference numerals are given to those having the same function, and the repeated description thereof will be omitted.

【0006】[実施の形態1]以下の実施の形態では、
像を配置する「面」という表現を用いるが、これは光学
などで多用される像面などと同様な表現であり、かつこ
のような像面を実現する手段としては、種々の光学素子
(例えば、レンズ、全反射鏡、部分反射鏡、曲鏡、プリ
ズム、偏光素子、波長板など)と二次元表示装置(例え
ば、CRT、液晶ディスプレイ、LEDディスプレイ、
プラズマディスプレイ、FEDディスプレイ、DMDデ
ィスプレイ、プロジェクション型ディスプレイ、線描画
型ディスプレイなど)を用いて、多くの光学的組み合わ
せ技術により、実現可能なことは明らかである。また、
以下の実施の形態では、提示する三次元物体を主に2つ
の面に二次元像として表示する場合について述べるが、
これを2つ以上の面としても同様な効果が期待できるこ
とは明らかである。図1は、本発明の実施の形態2のヘ
ッドマウントディスプレイ装置の原理を説明するための
図である。本実施の形態では、観察者100の右眼と左
眼の前面に、複数の面、例えば、面(1R1,1R2,
1L1,1L2)(例えば、面(1R1,1L1)が面
(1R2,1L2)より観察者100に近い)を設定
し、これらの面に複数の二次元像を表示するために、例
えば、二次元表示装置と、種々の光学素子を用いて、光
学系103を右眼用と左眼用とに各々構築する(詳細
は、実施の形態2で後述する)。
[First Embodiment] In the following embodiments,
Although the expression "surface" on which an image is arranged is used, this expression is similar to an image surface often used in optics and the like, and as a means for realizing such an image surface, various optical elements (for example, , Lenses, total reflection mirrors, partial reflection mirrors, curved mirrors, prisms, polarizing elements, wave plates, etc. and two-dimensional display devices (for example, CRTs, liquid crystal displays, LED displays,
It is obvious that this can be realized by many optical combination techniques using a plasma display, an FED display, a DMD display, a projection display, a line drawing display, etc.). Also,
In the following embodiment, the case where the presented three-dimensional object is mainly displayed as a two-dimensional image on two surfaces will be described.
It is clear that the same effect can be expected even if this is made into two or more surfaces. FIG. 1 is a diagram for explaining the principle of a head mounted display device according to a second embodiment of the present invention. In the present embodiment, a plurality of surfaces, for example, the surfaces (1R1, 1R2, and 1R2, are provided on the front surfaces of the right and left eyes of the observer 100.
1L1, 1L2) (for example, the plane (1R1, 1L1) is closer to the observer 100 than the plane (1R2, 1L2)), and in order to display a plurality of two-dimensional images on these planes, for example, two-dimensional The optical system 103 is constructed for each of the right eye and the left eye using the display device and various optical elements (details will be described later in Embodiment 2).

【0007】この二次元表示装置としては、例えば、C
RT、液晶ディスプレイ、LEDディスプレイ、プラズ
マディスプレイ、FEDディスプレイ、プロジェクショ
ン型ディスプレイ、線描画型ディスプレイなどが、ま
た、光学素子としては、例えば、レンズ、全反射鏡、部
分反射鏡、曲境、プリズム、偏光素子、波長板などが使
用可能である。ここで、観察者100は、これらの面
(1R1,1R2,1L1,1L2)に表示された複数
の二次元像と、観察者100の左眼、右眼との相対位置
を固定するため、例えば、固定治具110を装着する。
次に、観察者100に提示したい三次元物体の左眼用の
視差像と、右眼用の視差像とを生成する。この左眼用の
視差像から、図1に示すように、各面(1L1,1L
2)に表示される二次元像(1L5,1L6)が、観察
者100の左眼から見て重なるようにされた二次元像
(1L5,1L6)を生成する。同様に、右眼用の視差
像から、各面(1R1,1R2)に表示される二次元像
(1R5,1R6)が、観察者100の右眼から見て重
なるようにされた二次元像を(1R5,1R6)を生成
する。この左右の視差像を生成する方法は、例えば、各
眼の視線方向から三次元物体をカメラで撮影した二次元
像を用いる方法、別の方向からから撮影した複数枚の二
次元像から合成する方法、あるいはコンピュータグラフ
ィックによる合成技術、あるいはモデル化を用いる方法
など種々の方法がある。
As this two-dimensional display device, for example, C
RTs, liquid crystal displays, LED displays, plasma displays, FED displays, projection displays, line drawing displays, and the like, and optical elements include, for example, lenses, total reflection mirrors, partial reflection mirrors, curved boundaries, prisms, and polarized light. Elements, wave plates, etc. can be used. Here, since the observer 100 fixes the relative positions of the plurality of two-dimensional images displayed on these surfaces (1R1, 1R2, 1L1, 1L2) and the left and right eyes of the observer 100, for example, Then, the fixing jig 110 is mounted.
Next, a parallax image for the left eye and a parallax image for the right eye of the three-dimensional object to be presented to the observer 100 are generated. From this parallax image for the left eye, as shown in FIG. 1, each surface (1L1, 1L
The two-dimensional images (1L5, 1L6) displayed in 2) generate two-dimensional images (1L5, 1L6) that are overlapped with each other when viewed from the left eye of the observer 100. Similarly, from the parallax image for the right eye, the two-dimensional images (1R5, 1R6) displayed on each surface (1R1, 1R2) are overlapped with each other when viewed from the right eye of the observer 100. (1R5, 1R6) is generated. The method of generating the left and right parallax images is, for example, a method of using a two-dimensional image obtained by photographing a three-dimensional object with a camera from the line-of-sight direction of each eye, or combining from a plurality of two-dimensional images photographed from different directions. There are various methods such as a method, a synthesis technique using computer graphics, or a method using modeling.

【0008】本実施の形態における重要な要点は、前記
構成を有する装置で、二次元像(1R5,1R6,1L
5,1L6)の各々の輝度を、観察者100から見た総
体的な輝度を一定に保ちつつ(即ち、観察者100から
見た総体的な輝度が三次元物体の輝度と等しくなるよう
に)、三次元物体の奥行き位置に対応して変えることで
ある。
An important point in the present embodiment is that the apparatus having the above-mentioned configuration is used for two-dimensional images (1R5, 1R6, 1L).
5, 1L6) while keeping the overall brightness of the observer 100 constant (that is, the overall brightness of the observer 100 is equal to the brightness of the three-dimensional object). , Is to change according to the depth position of the three-dimensional object.

【0009】その変え方の一例を、以下に述ベる。な
お、両眼ともに同様であるため、図2ないし図5では右
眼のみを記し、さらに、図2ないし図5では、白黒図面
であるため、分かりやすいように輝度が高い方を濃く示
している。例えば、三次元物体を、面(1R1,1L
1)上の位置に対応する奥行き位置に表示する場合に
は、図2に示すように、面(1R1,1L1)の二次元
像(1R5,1L5)の輝度を三次元物体の輝度に等し
くし、面(1R2,1L2)上の二次元像(1R6,1
L6)の輝度はゼロとする。次に、例えば、三次元物体
が観察者100より少し遠ざかり、三次元物体を、面
(1R1,1L1)より面(1R2,1L2)側に少し
寄った位置の奥行き位置に表示する場合には、図3に示
すように、二次元像(1R5,1L5)の輝度を少し下
げ、二次元像(1R6,1L6)の輝度を少し上げる。
さらに、例えば、三次元物体が観察者100よりさらに
遠ざかり、三次元物体を、面(1R1,1L1)より面
(1R2,1L2)側にさらに寄った位置の奥行き位置
に表示する場合には、図4に示すように、二次元像(1
R5,1L5)の輝度をさらに下げ、二次元像(1R
6,1L6)の輝度をさらに上げる。遂に、例えば、三
次元物体を、面(1R2,1L2)上に対応する奥行き
位置に表示する場合には、図5に示すように、面(1R
2,1L2)上の二次元像(1R6,1L6)の輝度を
三次元物体の輝度に等しくし、面(1R1,1L1)上
の二次元像(1R5、1L5)の輝度をゼロとする。
An example of the change will be described below. Since both eyes are the same, only the right eye is shown in FIGS. 2 to 5, and since FIGS. 2 to 5 are black-and-white drawings, the one with higher brightness is shown darker for easier understanding. . For example, if a three-dimensional object is a surface (1R1, 1L
1) When displaying at the depth position corresponding to the position above, as shown in FIG. 2, the brightness of the two-dimensional image (1R5, 1L5) of the surface (1R1, 1L1) is made equal to the brightness of the three-dimensional object. , The two-dimensional image (1R6,1L2) on the surface (1R2,1L2)
The luminance of L6) is zero. Next, for example, when the three-dimensional object is a little farther from the observer 100 and the three-dimensional object is displayed at a depth position slightly closer to the surface (1R2, 1L2) than the surface (1R1, 1L1), As shown in FIG. 3, the brightness of the two-dimensional image (1R5, 1L5) is slightly lowered, and the brightness of the two-dimensional image (1R6, 1L6) is slightly increased.
Furthermore, for example, when the three-dimensional object is moved further away from the observer 100 and the three-dimensional object is displayed at a depth position closer to the surface (1R2, 1L2) than the surface (1R1, 1L1), As shown in 4, the two-dimensional image (1
The brightness of R5, 1L5) is further reduced, and the two-dimensional image (1R
6, 1L6) brightness is further increased. Finally, for example, when a three-dimensional object is displayed on the surface (1R2, 1L2) at the corresponding depth position, as shown in FIG.
The luminance of the two-dimensional image (1R6, 1L6) on 2, 1L2) is made equal to the luminance of the three-dimensional object, and the luminance of the two-dimensional image (1R5, 1L5) on the surface (1R1, 1L1) is set to zero.

【0010】本実施の形態では、左右の眼に提示される
二次元像は、左右の視差像であるため、人の視差による
要因のみで、従来のヘッドマウントディスプレイ装置と
同様、観察者は立体知覚できる。さらに、本実施の形態
のように、左右の視差像を表示することにより、人の生
理的要因、あるいは心理的要因により、表示している面
が、面(1R1,1L1,1R2,1L2)と奥行き方
向に離れた面であっても、観察者100のピント調節
は、面(1R1,1L1)と面(1R2,1L2)との
中間にある三次元物体の位置に定位する。即ち、例え
ば、面(1R1,1L1)と面(1R2,1L2)とに
ほぼ等輝度の二次元像を表示した場合には、面(1R
1,1L1)と面(1R2,1L2)の奥行き位置の中
間付近に三次元物体があるように感じられる。本実施の
形態では、前記図11に示した従来装置とは異なり、実
際に像を表示する面が、その錯覚位置を挟んで少なくと
も2つ以上存在するため、従来装置にあった両眼視差、
輻輳と、ピント調節との間の矛盾を大きく抑制でき、眼
精疲労などを抑制できると考えられる。また、従来装置
と大きく異なり、ピント調節が完全に錯覚位置に合致す
る利点を有する。また、本実施の形態では、左眼、右眼
双方において、完全に重なった像を用いるため、提示す
る三次元立体像の解像度を容易に高められる利点を有す
る。
In the present embodiment, since the two-dimensional images presented to the left and right eyes are left and right parallax images, the observer can see the stereoscopic image just like the conventional head mounted display device because of the factor of the human parallax. Can be perceived. Further, as in the present embodiment, by displaying the left and right parallax images, the surface being displayed is a surface (1R1, 1L1, 1R2, 1L2) due to a physiological factor or a psychological factor of a person. Even if the surface is distant in the depth direction, the focus adjustment of the observer 100 is localized at the position of the three-dimensional object located between the surface (1R1, 1L1) and the surface (1R2, 1L2). That is, for example, when two-dimensional images with almost equal brightness are displayed on the surface (1R1, 1L1) and the surface (1R2, 1L2), the surface (1R1
It seems that there is a three-dimensional object near the middle of the depth position of the plane (1R1, 1L1) and the plane (1R2, 1L2). In the present embodiment, unlike the conventional device shown in FIG. 11, there are at least two surfaces that actually display an image across the illusionary position, so that the binocular parallax that is present in the conventional device,
It is considered that the contradiction between convergence and focus adjustment can be greatly suppressed, and eye strain and the like can be suppressed. Further, unlike the conventional device, there is an advantage that the focus adjustment perfectly matches the illusion position. Further, in the present embodiment, images that are completely overlapped with each other are used for both the left eye and the right eye, and therefore, there is an advantage that the resolution of the presented three-dimensional stereoscopic image can be easily increased.

【0011】さらに、本実施の形態では、左眼、右眼に
個別に装置を取り付けるため、観察者100の動きや眼
の動きに対応して視差像を表示しやすく、かつ完全に重
なった状態を維持しやすい利点を有する。また、本実施
の形態では、2次元像の輝度の変化のみによる人の生理
的または心理的要因、あるいは人の錯覚を利用している
ため、光源として、特に、レーザーなどのコヒーレント
光源を必要とせず、かつカラー化も容易である利点を有
している。また、本実施の形態では、機械的駆動部を含
まないため、軽量化、信頼性の向上などに適している利
点を有する。なお、本実施の形態においては、二次元像
を配置する面の中で主に2つの面に関してのみ説明し、
かつ観察者100に提示する三次元物体が2つの面の間
にある場合について述べたが、二次元像を配置する面の
個数がこれよりも多く、あるいは提示する三次元物体の
位置が異なる場合であっても、同様な構成が可能である
ことは明らかである。本実施の形態は、各二次元表示装
置が動画対応できる表示速度を有しているだけで、観察
者からみて左右上方向には動画表示ができることは明ら
かであり、かつ、奥行き方向にも、複数の面の輝度変化
を1フレーム毎に行っていけば可能であり、前記実施の
形態1と同様、動画表示ができることも明らかである。
また、前記した二次元像は、1フレーム中に表示するの
であれば、同時に表示しても、別々の時間に表示して
も、あるいはある時間だけ同時に表示して、他の時間は
別々に表示しても、残像効果の原理から同様な効果が得
られることは明らかである。
Further, in the present embodiment, since the devices are individually attached to the left eye and the right eye, it is easy to display parallax images corresponding to the movement of the observer 100 and the movement of the eyes, and the images are completely overlapped. Has the advantage of being easy to maintain. Further, in the present embodiment, since the physiological or psychological factor of the person or the illusion of the person due to only the change of the brightness of the two-dimensional image is used, a coherent light source such as a laser is particularly required as the light source. And has the advantage of being easy to colorize. Further, in the present embodiment, since it does not include a mechanical drive unit, it has advantages that it is suitable for weight reduction, improvement in reliability, and the like. In the present embodiment, only two surfaces among the surfaces on which the two-dimensional image is arranged will be mainly described.
Moreover, the case where the three-dimensional object presented to the observer 100 is between the two surfaces has been described, but the number of surfaces on which the two-dimensional image is arranged is larger than this, or the position of the three-dimensional object presented is different. However, it is obvious that a similar configuration is possible. In the present embodiment, each two-dimensional display device only has a display speed capable of supporting moving images, and it is clear that a moving image can be displayed in the left and right upward directions when viewed from the observer, and in the depth direction as well. It is possible to change the brightness of a plurality of surfaces for each frame, and it is apparent that a moving image can be displayed as in the first embodiment.
Also, if the above-mentioned two-dimensional image is displayed in one frame, it may be displayed simultaneously, at different times, or at the same time for a certain time and separately at other times. However, it is clear that the same effect can be obtained from the principle of the afterimage effect.

【0012】[実施の形態2]以下、前記実施の形態に
使用可能な光学系103について説明する。図6は、前
記実施の形態に使用可能な光学系103の一例を示す図
である。図6に示す光学系は、複数の二次元表示装置
(201,202)と、全反射鏡203(例えば、反射
率/透過率=100/0)、部分反射鏡204(例え
ば、反射率/透過率=50/50)とを使用するもので
ある。ここで、複数の二次元表示装置(201,20
2)は、例えば、CRT、液晶ディスプレイ、LEDデ
ィスプレイ、プラズマディスプレイ、FEDディスプレ
イ、DMDディスプレイ、プロジェクション型ディスプ
レイ、線描画型ディスプレイなどで構成される。図6に
示す光学系において、各々の配置を変えることにより、
二次元表示装置201の2次元像が全反射鏡203で反
射し、部分反射鏡204を透過してできる面205と、
二次元表示装置202の二次元像が部分反射鏡204を
反射してできる面206とを奥行き方向に異なる位置に
配置することができる。図6に示す光学系では、鏡(全
反射鏡203、部分反射鏡204)のみを用いるため、
画質の劣化が少ない利点を有する。
[Second Embodiment] An optical system 103 usable in the above-mentioned embodiment will be described below. FIG. 6 is a diagram showing an example of the optical system 103 that can be used in the above embodiment. The optical system shown in FIG. 6 includes a plurality of two-dimensional display devices (201, 202), a total reflection mirror 203 (for example, reflectance / transmittance = 100/0), and a partial reflection mirror 204 (for example, reflectance / transmittance). Rate = 50/50). Here, a plurality of two-dimensional display devices (201, 20
2) includes, for example, a CRT, a liquid crystal display, an LED display, a plasma display, an FED display, a DMD display, a projection type display, a line drawing type display and the like. In the optical system shown in FIG. 6, by changing each arrangement,
A surface 205 formed by a two-dimensional image of the two-dimensional display device 201 being reflected by the total reflection mirror 203 and transmitted through the partial reflection mirror 204;
The surface 206 formed by reflecting the two-dimensional image of the two-dimensional display device 202 on the partial reflection mirror 204 can be arranged at a different position in the depth direction. In the optical system shown in FIG. 6, since only the mirrors (total reflection mirror 203, partial reflection mirror 204) are used,
It has an advantage of little deterioration of image quality.

【0013】図7は、前記実施の形態に使用可能な光学
系103の他の例を示す図である。図7に示す光学系
は、図6に示す光学系に凸レンズ(207,208)な
どを含めることにより、面の位置をよりフレキシブルに
変更できるようにしたものである。図7に示す光学系で
は、複数の二次元表示装置(201,202)と、全反
射鏡203(例えば、反射率/透過率=100/0)、
部分反射鏡204(例えば、反射率/透過率=50/5
0)の構成に、例えば、凸レンズ(207,208)を
加えて像位置を変えることにより、装置の大きさの制約
などにより限られていた面205と面206の位置関係
をより柔軟に設定することができる。勿論、凸レンズだ
けでなく組み合わせレンズなどを用いたレンズ光学系を
用いることにより、歪みなどの点で有利になる場合もあ
ることは通常のレンズ光学系と同様である。また、この
場合は虚像を用いる場合を例として示したが、実像を用
いる場合でも同様なことができることは明らかである。
FIG. 7 is a diagram showing another example of the optical system 103 that can be used in the above embodiment. The optical system shown in FIG. 7 is such that the position of the surface can be changed more flexibly by including convex lenses (207, 208) in the optical system shown in FIG. In the optical system shown in FIG. 7, a plurality of two-dimensional display devices (201, 202), a total reflection mirror 203 (for example, reflectance / transmittance = 100/0),
Partial reflector 204 (eg, reflectance / transmittance = 50/5
By changing the image position by adding, for example, convex lenses (207, 208) to the configuration of 0), the positional relationship between the surface 205 and the surface 206, which is limited due to the size restriction of the device, is set more flexibly. be able to. Of course, the use of a lens optical system that uses not only a convex lens but also a combination lens may be advantageous in terms of distortion, as in the case of a normal lens optical system. Further, in this case, the case where the virtual image is used is shown as an example, but it is obvious that the same can be done when the real image is used.

【0014】図8は、前記実施の形態に使用可能な光学
系103の他の例を示す図である。図8に示す光学系
は、図6に示す光学系に、さらに二次元表示装置を追加
したものである。即ち、複数の二次元表示装置(21
1,212,213,214,215)と、例えば、全
反射鏡216(例えば、反射率/透過率=100/
0)、部分反射鏡217(例えば、反射率/透過率=5
0/50)、218(例えば、反射率/透過率=33.
3/66.7)、219(例えば、反射率/透過率=2
5/75)、220(例えば、反射率/透過率=20/
80)を用いて光学系を構成したものである。図8に示
す光学系において、各々の配置を変えることにより、二
次元表示装置211の二次元像が全反射鏡216を反射
して部分反射鏡(217〜220)を透過してできる面
221と、二次元表示装置(212〜215)の二次元
像が各々部分反射鏡(217〜220)で反射し、さら
に部分反射鏡を透過してできる面(222〜225)
を、各々奥行き方向に異なる位置に配置することができ
る。この図8に示す光学系では、鏡のみを用いるため、
画質の劣化が少ない利点を有する。なお、図8では、二
次元表示装置が5個の場合について述べたが、それ以外
の個数でも同様な構成が可能なことは明らかである。こ
の場合においても、図7に示すように、レンズ光学系を
付加することにより、面の位置を制御しやすくなること
は同様に明らかである。
FIG. 8 is a diagram showing another example of the optical system 103 that can be used in the above embodiment. The optical system shown in FIG. 8 is obtained by adding a two-dimensional display device to the optical system shown in FIG. That is, a plurality of two-dimensional display devices (21
1, 212, 213, 214, 215) and, for example, a total reflection mirror 216 (for example, reflectance / transmittance = 100 /
0), the partial reflecting mirror 217 (for example, reflectance / transmittance = 5
0/50), 218 (eg reflectance / transmittance = 33.
3 / 66.7), 219 (eg reflectance / transmittance = 2
5/75), 220 (for example, reflectance / transmittance = 20 /
80) is used to construct an optical system. In the optical system shown in FIG. 8, the two-dimensional image of the two-dimensional display device 211 is reflected by the total reflection mirror 216 and transmitted through the partial reflection mirrors (217 to 220) by changing the respective arrangements. Surfaces (222 to 225) formed by the two-dimensional images of the two-dimensional display devices (212 to 215) being reflected by the partial reflecting mirrors (217 to 220) and further transmitted through the partial reflecting mirrors.
Can be arranged at different positions in the depth direction. Since only the mirror is used in the optical system shown in FIG. 8,
It has an advantage of little deterioration of image quality. In addition, in FIG. 8, the case where the number of the two-dimensional display devices is five is described, but it is clear that the same configuration can be made with the number other than that. Also in this case, it is similarly clear that the position of the surface can be easily controlled by adding the lens optical system as shown in FIG.

【0015】図9は、前記実施の形態に使用可能な光学
系103の他の例を示す図である。図9に示す光学系
は、複数のプロジェクタ型二次元表示装置(231,2
32,233,234,235)と、シャッタ(24
1,242,243,244,245)と、散乱板(2
36,237,238,239,240)とを用いて、
各プロジェクタ型二次元表示装置(231〜235)か
らシャッタ(241〜245)を介して散乱板(236
〜240)に二次元像を投影することにより、複数の二
元像を配置するための光学系を構成したものである。こ
こで、各プロジェクタ型二次元表示装置(231〜23
5)は、例えば、CTR型、LCD型、ILV型、DM
D型等で構成される。また、散乱板(236〜240)
は、例えば、高分子分散型液晶素子、ホログラフィック
高分子分散型液晶素子、液晶とマルチレンズアレイの組
合せ素子などのように、散乱状態/透過状態、反射状態
/透過状態を制御でき、さらに、シャッタ(241〜2
45)は、例えば、ツイストネマティック液晶素子、強
誘電液晶素子、あるいは機械的シャッタ素子などのよう
に透過状態/遮断状態を制御できるものとする。散乱板
(236〜240)を奥行き位置を変えて配置し、これ
らの散乱板(236〜240)に、各プロジェクタ型二
次元表示装置(231〜235)の各々のピント面を合
わせて二次元像を投射し、かつ散乱板(236〜24
0)の散乱状態/透過状態のタイミングと、シャッタ
(241〜245)の透過状態/遮断状態のタイミング
を合わせて駆動することにより、時分割で、散乱板(2
36〜240)上に形成される面の奥行き位置を制御で
きる。この図9に示す光学系のように、プロジェクタ型
二次元表示装置(231〜235)を用いる場合には、
装置のレイアウトの自由度が大きい利点を有する。な
お、この図9に示す光学系では、プロジェクタ型二次元
表示装置が5個の場合について述べたが、それ以外の個
数でも同様な構成が可能なことは明らかである。また、
シャッタ(241〜245)の代わりに、プロジェクタ
型二次元表示装置(231〜235)のランプをON/
OFFしてもよいことは明らかである。
FIG. 9 is a diagram showing another example of the optical system 103 that can be used in the above embodiment. The optical system shown in FIG. 9 includes a plurality of projector-type two-dimensional display devices (231, 2).
32, 233, 234, 235) and the shutter (24
1,242,243,244,245) and the scattering plate (2
36, 237, 238, 239, 240),
From each projector type two-dimensional display device (231 to 235) through a shutter (241 to 245), a scattering plate (236
To 240), a two-dimensional image is projected to form an optical system for arranging a plurality of binary images. Here, each projector type two-dimensional display device (231 to 23
5) is, for example, CTR type, LCD type, ILV type, DM
It is composed of D type and the like. Also, scattering plates (236 to 240)
Can control the scattering state / transmission state, the reflection state / transmission state, such as a polymer dispersion type liquid crystal element, a holographic polymer dispersion type liquid crystal element, a combination element of liquid crystal and a multi-lens array, and Shutter (241-2
In 45), it is assumed that the transmission state / blocking state can be controlled like a twisted nematic liquid crystal element, a ferroelectric liquid crystal element, or a mechanical shutter element. The scattering plates (236 to 240) are arranged at different depth positions, and the focusing surfaces of the projector type two-dimensional display devices (231 to 235) are aligned with these scattering plates (236 to 240) to form a two-dimensional image. And a scattering plate (236-24
0) in the scattering state / transmission state and the shutters (241 to 245) in the transmission state / blocking state are driven at the same time, so that the scattering plate (2) is time-divided.
36-240), the depth position of the surface formed above can be controlled. When a projector type two-dimensional display device (231 to 235) is used like the optical system shown in FIG. 9,
This has the advantage that the degree of freedom in the layout of the device is great. In the optical system shown in FIG. 9, the case where the number of projector type two-dimensional display devices is five has been described, but it is obvious that the same configuration can be made with other numbers. Also,
Instead of the shutters (241 to 245), the lamp of the projector type two-dimensional display device (231 to 235) is turned on / off.
Obviously, it may be turned off.

【0016】前記実施の形態では、ヘッドマウントディ
スプレイ装置付近、または内部あるいはこれより奥に面
がある場合について主に述べたが、これらの面を光学装
置を追加することにより、二次元表示装置より離して、
あるいは前面に配置することも容易に可能である。その
一例を、図10に示す。例えば、前記実施の形態に示す
光学系301の前面に、例えば、レンズ光学系303を
配置することにより、内部の面302を外部の面304
の位置へ変換できることは明らかである。このような場
合には、三次元立体像が空間に浮いて再現されるため、
三次元立体像が装置内部や後方にある場合に比べ、人に
とってより三次元に感じやすいという利点を有する。以
上、本発明者によってなされた発明を、前記実施の形態
に基づき具体的に説明したが、本発明は、前記実施の形
態に限定されるものではなく、その要旨を逸脱しない範
囲において種々変更可能であることは勿論である。
In the above-described embodiment, the case where there are surfaces near the head mounted display device, inside or deeper than the head mounted display device has been mainly described. However, by adding an optical device to these surfaces, a two-dimensional display device can be obtained. leave,
Alternatively, it can be easily arranged on the front surface. An example thereof is shown in FIG. For example, by disposing the lens optical system 303, for example, on the front surface of the optical system 301 shown in the above-described embodiment, the inner surface 302 can be changed to the outer surface 304.
Obviously, it can be converted to the position. In such a case, since the three-dimensional stereoscopic image floats in space and is reproduced,
Compared with the case where a three-dimensional stereoscopic image is inside or behind the device, it has the advantage that it is easier for a person to perceive it in three dimensions. Although the invention made by the present inventor has been specifically described based on the above-described embodiment, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the invention. Of course,

【0017】[0017]

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記の通りである。本発明によれば、立体視の生理的要因
間の矛盾を抑制でき、かつ情報量を少なくでき、電気的
に書き換え可能な三次元動画像を再生することが可能と
なる。
The effects obtained by the typical ones of the inventions disclosed in the present application will be briefly described as follows. According to the present invention, it is possible to suppress a contradiction between physiological factors of stereoscopic vision, reduce the amount of information, and reproduce an electrically rewritable three-dimensional moving image.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の実施の形態1のヘッドマウントディス
プレイ装置の原理を説明するための図である。
FIG. 1 is a diagram for explaining the principle of a head mounted display device according to a first embodiment of the present invention.

【図2】本発明の実施の形態1のヘッドマウントディス
プレイ装置における三次元立体像の表示方法を説明する
ための図である。
FIG. 2 is a diagram for explaining a method of displaying a three-dimensional stereoscopic image in the head mounted display device according to the first embodiment of the present invention.

【図3】本発明の実施の形態1のヘッドマウントディス
プレイ装置における三次元立体像の表示方法を説明する
ための図である。
FIG. 3 is a diagram for explaining a method of displaying a three-dimensional stereoscopic image in the head mounted display device according to the first embodiment of the present invention.

【図4】本発明の実施の形態1のヘッドマウントディス
プレイ装置における三次元立体像の表示方法を説明する
ための図である。
FIG. 4 is a diagram for explaining a method of displaying a three-dimensional stereoscopic image in the head mounted display device according to the first embodiment of the present invention.

【図5】本発明の実施の形態1のヘッドマウントディス
プレイ装置における三次元立体像の表示方法を説明する
ための図である。
FIG. 5 is a diagram for explaining a method for displaying a three-dimensional stereoscopic image in the head mounted display device according to the first embodiment of the present invention.

【図6】本発明の実施の形態1に使用可能な光学系の一
例を示す図である。
FIG. 6 is a diagram showing an example of an optical system usable in the first embodiment of the present invention.

【図7】本発明の実施の形態1に使用可能な光学系の他
の例を示す図である。
FIG. 7 is a diagram showing another example of the optical system that can be used in the first embodiment of the present invention.

【図8】本発明の実施の形態1に使用可能な光学系の他
の例を示す図である。
FIG. 8 is a diagram showing another example of the optical system that can be used in the first embodiment of the present invention.

【図9】本発明の実施の形態1に使用可能な光学系の他
の例を示す図である。
FIG. 9 is a diagram showing another example of the optical system that can be used in the first embodiment of the present invention.

【図10】本発明の実施の形態1に使用可能な光学系の
他の例を示す図である。
FIG. 10 is a diagram showing another example of the optical system that can be used in the first embodiment of the present invention.

【図11】従来の電気的に書き換え可能な動画の立体表
示を行うヘッドマウントディスプレイ装置を示す図であ
る。
FIG. 11 is a diagram showing a conventional head-mounted display device that performs stereoscopic display of an electrically rewritable moving image.

【符号の説明】[Explanation of symbols]

52L,52R…カメラ、53L,53R…液晶表示装
置、54L,54R,207,208…凸レンズ、55
L,55R…左右の眼、100…観察者、103,30
1…光学系、110…固定治具、205,206,22
1〜225,302,304,1R1,1R2,1L
1,1L2…面、201,202,211〜215…二
次元表示装置、203,216…全反射鏡、204,2
17〜220…部分反射鏡、231〜235…プロジェ
クタ型二次元表示装置、236〜240…散乱板、24
1〜245…シャッタ、303…レンズ光学系、501
…三次元物体、506…視差像、1R5,1R6,1L
5,1L6…二次元像。
52L, 52R ... Camera, 53L, 53R ... Liquid crystal display device, 54L, 54R, 207, 208 ... Convex lens, 55
L, 55R ... Left and right eyes, 100 ... Observer, 103, 30
1 ... Optical system, 110 ... Fixing jig, 205, 206, 22
1-225, 302, 304, 1R1, 1R2, 1L
1, 1L2 ... Surface, 201, 202, 211-215 ... Two-dimensional display device, 203, 216 ... Total reflection mirror, 204, 2
17-220 ... Partial reflecting mirror, 231-235 ... Projector type two-dimensional display device, 236-240 ... Scattering plate, 24
1-245 ... Shutter, 303 ... Lens optical system, 501
... three-dimensional object, 506 ... parallax image, 1R5, 1R6, 1L
5, 1L6 ... Two-dimensional image.

フロントページの続き (56)参考文献 特開 平9−331552(JP,A) 特許3224695(JP,B2) (58)調査した分野(Int.Cl.7,DB名) H04N 13/00 G02B 27/00 Continuation of front page (56) Reference JP-A-9-331552 (JP, A) Patent 3224695 (JP, B2) (58) Fields investigated (Int.Cl. 7 , DB name) H04N 13/00 G02B 27 / 00

Claims (10)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 観察者の左眼および右眼のそれぞれに対
して、奥行き位置の異なる複数の表示面を配置し、前記
観察者の左眼に対する複数の表示面に左眼用の二次元像
を、および、前記観察者の右眼に対する複数の表示面に
右眼用の二次元像を表示することにより左右の眼それぞ
れに視差像を提示し、三次元立体像を表示する三次元表
示方法であって、 表示対象物体を前記観察者の左眼から見た視差像から、
前記観察者の左眼に対する各表示面に表示される二次元
像が前記観察者の左眼から見て重なるようにされた左眼
用の複数の二次元像を生成し、 前記観察者の左眼に対する各表示面に表示される二次元
像の輝度を、各表示面毎に各々独立に変化させて、前記
観察者の左眼に対する各表示面に前記左眼用の二次元像
を表示し、 また、表示対象物体を前記観察者の右眼から見た視差像
から、前記観察者の右眼に対する各表示面に表示される
二次元像が前記観察者の右眼から見て重なるようにされ
た右眼用の複数の二次元像を生成し、 前記観察者の右眼に対する各表示面に表示される二次元
像の輝度を、各表示面毎に各々独立に変化させて、前記
観察者の右眼に対する各表示面に、前記右眼用の二次元
像を表示することを特徴とする三次元表示方法。
1. A pair of left and right eyes of an observer.
And arrange multiple display surfaces with different depth positions,
Observer's left eye2D images for the left eye on multiple display surfaces against
, And a plurality of display surfaces for the right eye of the observer
For the right eyeTwo-dimensional imageLeft and right eyes can be displayed by displaying
Present the parallax image to it,3D table displaying 3D image
A method of From the parallax image of the display target object seen from the left eye of the observer,
Two-dimensional displayed on each display surface for the left eye of the observer
Left eye whose images are made to overlap when viewed from the observer's left eye
Generate multiple 2D images for Two-dimensional displayed on each display surface for the left eye of the observer
By changing the brightness of the image independently for each display surface,
Two-dimensional image for the left eye on each display surface for the left eye of the observer
Is displayed, Also, the parallax image of the display target object viewed from the right eye of the observer.
From, it is displayed on each display surface for the right eye of the observer
The two-dimensional images are made to overlap when viewed from the observer's right eye.
Generate multiple 2D images for the right eye, Two-dimensional displayed on each display surface for the right eye of the observer
By changing the brightness of the image independently for each display surface,
Two-dimensional for the right eye on each display surface for the observer's right eye
A three-dimensional display method characterized by displaying an image.
【請求項2】 前記表示対象物体が、観察者に近い奥行
き位置に表示される物体である場合に、前記観察者の左
眼に対する複数の表示面のうちの観察者に近い表示面に
表示する前記左眼用の二次元像の輝度を高くし、観察者
から遠い表示面に表示する前記左眼用の二次元像の輝度
を低くし、かつ、前記観察者の右眼に対する複数の表示
面のうちの観察者に近い表示面に表示する前記右眼用の
二次元像の輝度を高くし、観察者から遠い表示面に表示
する前記右眼用の二次元像の輝度を低くし、 また、前記表示対象物体が、観察者から遠い奥行き位置
に表示される物体である場合に、前記観察者の左眼に対
する複数の表示面のうちの観察者に近い表示面に表示す
る前記左眼用の二次元像の輝度を低くし、観察者から遠
い表示面に表示する前記左眼用の二次元像の輝度を高く
し、かつ、前記観察者の右眼に対する複数の表示面のう
ちの観察者に近い表示面に表示する前記右眼用の二次元
像の輝度を低くし、観察者から遠い表示面に表示する前
右眼用の二次元像の輝度を高くすることを特徴とする
請求項1に記載の三次元表示方法。
2. When the display target object is an object displayed at a depth position close to the observer, the left side of the observer is displayed.
Of the multiple display surfaces for the eye, the display surface close to the viewer
Increase the brightness of the two-dimensional image for the left eye to be displayed, and observer
Brightness of the two-dimensional image for the left eye displayed on the display surface far from
And lowering the brightness of the right-eye two-dimensional image displayed on the display surface closer to the viewer out of the plurality of display surfaces for the right eye of the viewer, The brightness of the two-dimensional image for the right eye displayed on the far display surface is lowered, and when the display target object is an object displayed at a depth position far from the observer, the left eye of the observer. Against
Display on one of the multiple display surfaces that is closest to the viewer.
Lower the brightness of the two-dimensional image for the left eye,
The brightness of the two-dimensional image for the left eye displayed on the
And, lowering the brightness of the two-dimensional image for the right eye to be displayed on the display surface close to the observer among the plurality of display surfaces for the observer's right eye, and displaying on the display surface far from the observer. The three-dimensional display method according to claim 1, wherein the brightness of the two-dimensional image for the right eye is increased.
【請求項3】 察者の見る総体的な輝度が元の表示対
象物体の輝度と等しくなるように、前記観察者の左眼に
対する複数の表示面に表示される前記左眼用の二次元像
の輝度と、前記観察者の右眼に対する複数の表示面に表
示される前記右眼用の二次元像の輝度を変化させること
を特徴とする請求項1または請求項2に記載の三次元表
示方法。
As overall brightness scoping wherein observation person is equal to the luminance of the original display object, the left eye of the observer
The two-dimensional image for the left eye displayed on a plurality of display surfaces
And the brightness on the display surface for the right eye of the observer.
The three-dimensional display method according to claim 1, wherein the brightness of the two-dimensional image for the right eye shown is changed.
【請求項4】 観察者の左眼から見て奥行き位置がそれ
ぞれ異なる複数の表示面に左眼用の二次元像、および、
観察者の右眼から見て奥行き位置がそれぞれ異なる複数
の表示面に右眼用の二次元像を表示することにより左右
の眼それぞれに視差像を提示し、三次元立体像を表示す
るヘッドマウントディスプレイ装置であって、 前記左眼および右眼用の複数の表示面と、観察者の左眼
および右眼との相対的位置を固定する第1の手段と、 表示対象物体を前記観察者の左眼から見た視差像から、
前記観察者の左眼に対する各表示面に表示される二次元
像が前記観察者の左眼から見て重なるようにされた左眼
用の複数の二次元像を生成する第2の手段と、 表示対象物体を前記観察者の右眼から見た視差像から、
前記観察者の右眼に対する各表示面に表示される二次元
像が前記観察者の右眼から見て重なるようにされた右眼
用の複数の二次元像を生成する第3の手段と、 前記第2の手段で生成された左眼用の各二次元像を、前
記左眼用の複数の表示面の少なくとも2つの表示面に表
示する第4の手段と、 前記第3の手段で生成された右眼用の各二次元像を、前
記右眼用の複数の表示面の少なくとも2つの表示面に表
示する第5の手段と、 前記左眼用の少なくとも2つの表示面に表示される前記
左眼用の二次元像の輝度を、前記左眼用の少なくとも2
つの表示面毎に各々独立に変化させる第6の手段と、 前記右眼用の少なくとも2つの表示面に表示される前記
右眼用の二次元像の輝度を、前記右眼用の少なくとも2
つの表示面毎に各々独立に変化させる第7の手段とを具
備することを特徴とするヘッドマウントディスプレイ装
置。
4. A two-dimensional image for the left eye on a plurality of display surfaces having different depth positions when viewed from the left eye of the observer, and
Left and right by displaying a two-dimensional image for the right eye on multiple display surfaces with different depth positions when viewed from the observer's right eye.
Presenting a parallax image to each of the eyes, a head-mounted display device for displaying a three-dimensional stereoscopic image, a plurality of display surfaces for the left eye and the right eye, relative to the left eye and the right eye of the observer First means for fixing the target position, and a parallax image of the display target object viewed from the left eye of the observer,
Second means for generating a plurality of two-dimensional images for the left eye in which the two-dimensional images displayed on the respective display surfaces for the left eye of the observer are overlapped when viewed from the left eye of the observer; From the parallax image of the display target object seen from the right eye of the observer,
Third means for generating a plurality of two-dimensional images for the right eye, in which the two-dimensional images displayed on each display surface for the observer's right eye are overlapped when viewed from the observer's right eye, Fourth means for displaying each two-dimensional image for the left eye generated by the second means on at least two display surfaces of the plurality of display surfaces for the left eye, and generated by the third means Fifth means for displaying the respective two-dimensional images for the right eye on at least two display surfaces of the plurality of display surfaces for the right eye, and displayed on the at least two display surfaces for the left eye The above
The brightness of the two-dimensional image for the left eye is at least 2 for the left eye.
One of the sixth means for varying each independently for each display surface, the displayed at least two display surfaces for the right eye
The brightness of the two-dimensional image for the right eye is at least 2 for the right eye.
And a seventh means for independently changing each of the two display surfaces.
【請求項5】 前記第4の手段、あるいは第5の手段
は、複数の二次元表示装置と、 前記複数の二次元表示装置のうち観察者より最も遠い奥
行き位置に配置される二次元表示装置と組み合わされ、
当該二次元表示装置の表示を観察者の視線上の像として
配置する全反射鏡あるいは部分反射鏡と、 前記観察者より最も遠い奥行き位置に配置される二次元
表示装置以外の二次元表示装置と組み合わされ、各二次
元表示装置の表示をそれぞれ観察者の視線上の像として
配置する部分反射鏡とから構成されることを特徴とする
請求項4に記載のヘッドマウントディスプレイ装置。
5. The fourth means or the fifth means comprises a plurality of two-dimensional display devices, and a two-dimensional display device arranged at a depth position farthest from an observer among the plurality of two-dimensional display devices. Combined with
A total reflection mirror or a partial reflection mirror that arranges the display of the two-dimensional display device as an image on the line of sight of an observer, and a two-dimensional display device other than the two-dimensional display device that is arranged at the farthest position from the observer. The head mounted display device according to claim 4, wherein the head mounted display device is composed of a partial reflection mirror which is combined with each other and arranges the display of each two-dimensional display device as an image on the line of sight of an observer.
【請求項6】 前記第4の手段、あるいは第5の手段
は、複数の二次元表示装置と、 前記複数の二次元表示装置のうち観察者より最も遠い奥
行き位置に配置される二次元表示装置と組み合わされ、
当該二次元表示装置の表示を観察者の視線上の像として
配置する全反射鏡とレンズの組合わせ、あるいは部分反
射鏡とレンズの組合わせと、 前記観察者より最も遠い奥行き位置に配置される二次元
表示装置以外の二次元表示装置と組み合わされ、各二次
元表示装置の表示をそれぞれ観察者の視線上の像として
配置する部分反射鏡とレンズの組合わせとから構成され
ることを特徴とする請求項4に記載のヘッドマウントデ
ィスプレイ装置。
6. The fourth means or the fifth means comprises a plurality of two-dimensional display devices, and a two-dimensional display device arranged at a depth position farthest from an observer among the plurality of two-dimensional display devices. Combined with
A combination of a total reflection mirror and a lens or a combination of a partial reflection mirror and a lens for arranging the display of the two-dimensional display device as an image on the line of sight of an observer, or a combination of a partial reflection mirror and a lens, is arranged at a depth position farthest from the observer. A combination of a two-dimensional display device other than the two-dimensional display device and a combination of a partial reflecting mirror and a lens for arranging the display of each two-dimensional display device as an image on the line of sight of the observer. The head mounted display device according to claim 4.
【請求項7】 前記第4の手段、あるいは第5の手段
は、観察者から見て異なった奥行き位置に配置される透
過状態と散乱状態の切替制御が可能な複数の散乱板と、 前記各散乱板に二次元像を投射する複数の投射型二次元
表示装置と、 前記複数の散乱板と前記複数の投射型二次元表示装置と
の間に配置され、前記複数の散乱板の透過状態と散乱状
態との切替に同期して透過状態と遮断状態を切替る複数
のシャッタとから構成されることを特徴とする請求項4
に記載のヘッドマウントディスプレイ装置。
7. The fourth means or the fifth means comprises a plurality of scattering plates arranged at different depth positions from an observer and capable of switching control between a transmission state and a scattering state. A plurality of projection type two-dimensional display device for projecting a two-dimensional image on a scattering plate, arranged between the plurality of scattering plates and the plurality of projection type two-dimensional display device, the transmission state of the plurality of scattering plates and 5. A plurality of shutters that switch between a transmission state and a blocking state in synchronism with the switching to the scattering state.
The head-mounted display device according to.
【請求項8】 前記複数の表示面と観察者との間に、レ
ンズ光学系を設置したことを特徴とする請求項4ないし
請求項7のいずれか1項に記載のヘッドマウントディス
プレイ装置。
8. The head mounted display device according to claim 4, further comprising a lens optical system provided between the plurality of display surfaces and an observer.
【請求項9】 前記第6の手段は、前記表示対象物体
が、観察者に近い奥行き位置に表示される物体である場
合に、前記少なくとも2つの表示面のうちの観察者に近
い表示面に表示する前記左眼用の二次元像の輝度を高く
し、観察者から遠い表示面に表示する前記左眼用の二次
元像の輝度を低くし、また、前記表示対象物体が、観察
者から遠い奥行き位置に表示される物体である場合に、
前記少なくとも2つの表示面のうちの観察者に近い表示
面に表示する前記左眼用の二次元像の輝度を低くし、観
察者から遠い表示面に表示する前記左眼用の二次元像の
輝度を高くし、 前記第7の手段は、前記表示対象物体が、観察者に近い
奥行き位置に表示される物体である場合に、前記少なく
とも2つの表示面のうちの観察者に近い表示面に表示す
前記右眼用の二次元像の輝度を高くし、観察者から遠
い表示面に表示する前記右眼用の二次元像の輝度を低く
し、また、前記表示対象物体が、観察者から遠い奥行き
位置に表示される物体である場合に、前記少なくとも2
つの表示面のうちの観察者に近い表示面に表示する前記
右眼用の二次元像の輝度を低くし、観察者から遠い表示
面に表示する前記右眼用の二次元像の輝度を高くするこ
とを特徴とする請求項4ないし請求項8のいずれか1項
に記載のヘッドマウントディスプレイ装置。
9. The sixth means is the display target object.
Is an object displayed at a depth position close to the observer.
In this case, one of the at least two display surfaces that is closer to the observer
The brightness of the two-dimensional image for the left eye displayed on the
The secondary for the left eye displayed on the display surface far from the observer.
The brightness of the original image is lowered, and the display target object is observed.
When the object is displayed at a depth position far from the person,
Display of the at least two display surfaces close to the observer
Reduce the brightness of the two-dimensional image for the left eye displayed on the screen
Of the two-dimensional image for the left eye displayed on the display surface far from the observer
When the display target object is an object displayed at a depth position close to the observer, the seventh means increases the brightness, and displays the display target object close to the observer among the at least two display surfaces. The brightness of the two-dimensional image for the right eye to be displayed is increased, and the brightness of the two-dimensional image for the right eye to be displayed on the display surface far from the observer is lowered, and the display target object is from the observer. If the object is displayed at a distant depth position, the at least 2
It said to be displayed on the display surface close to the viewer of the One of the display surface
9. The brightness of the two-dimensional image for the right eye is lowered, and the brightness of the two-dimensional image for the right eye displayed on the display surface far from the observer is increased. The head mounted display device according to item 1.
【請求項10】 前記第6の手段は、観察者の見る総体
的な輝度が元の表示対象物体の輝度と等しくなるよう
に、前記少なくとも2つの表示面に表示される前記左眼
用の二次元像の輝度を変化させ、 前記第7の手段は、観察者の見る総体的な輝度が元の表
示対象物体の輝度と等しくなるように、前記少なくとも
2つの表示面に表示される前記右眼用の二次元像の輝度
を変化させることを特徴とする請求項4ないし請求項9
のいずれか1項に記載のヘッドマウントディスプレイ装
置。
10. The sixth means is the whole body viewed by an observer.
The brightness of the target is equal to the brightness of the original display target object
The left eye displayed on the at least two display surfaces
Changing the brightness of the two-dimensional image for display, and the seventh means displays on the at least two display surfaces so that the overall brightness viewed by the observer becomes equal to the brightness of the original display target object. 10. The brightness of the two-dimensional image for the right eye is changed, and the brightness is changed.
The head mounted display device according to claim 1.
JP13749299A 1999-05-18 1999-05-18 Three-dimensional display method and head-mounted display device Expired - Lifetime JP3453086B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13749299A JP3453086B2 (en) 1999-05-18 1999-05-18 Three-dimensional display method and head-mounted display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13749299A JP3453086B2 (en) 1999-05-18 1999-05-18 Three-dimensional display method and head-mounted display device

Publications (2)

Publication Number Publication Date
JP2000333211A JP2000333211A (en) 2000-11-30
JP3453086B2 true JP3453086B2 (en) 2003-10-06

Family

ID=15199929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13749299A Expired - Lifetime JP3453086B2 (en) 1999-05-18 1999-05-18 Three-dimensional display method and head-mounted display device

Country Status (1)

Country Link
JP (1) JP3453086B2 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6525699B1 (en) 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
JP4576390B2 (en) * 2004-12-09 2010-11-04 パイオニア株式会社 Stereoscopic two-dimensional image display apparatus and stereoscopic two-dimensional image display method
JP2007041218A (en) * 2005-08-02 2007-02-15 Pioneer Electronic Corp Image display device
JP2011053564A (en) * 2009-09-03 2011-03-17 Nikon Corp Display device and imaging device
JP5287683B2 (en) 2009-11-26 2013-09-11 セイコーエプソン株式会社 Head mounted display
JP5672695B2 (en) 2009-12-18 2015-02-18 セイコーエプソン株式会社 Display device
CN107272199B (en) * 2013-11-27 2023-04-07 奇跃公司 Virtual and augmented reality systems and methods
KR101670970B1 (en) * 2015-05-15 2016-11-01 한양대학교 에리카산학협력단 A 3d displaying appratus, a method for 3d displaying and a head up mount displaying appratus
JP6437398B2 (en) * 2015-08-31 2018-12-12 日本電信電話株式会社 Aerial image display device
KR101852062B1 (en) * 2016-01-21 2018-04-25 한양대학교 에리카산학협력단 A flexible display device and a method for operating it
KR20180037887A (en) 2016-10-05 2018-04-13 엠티스코퍼레이션(주) Smart glasses
KR102269833B1 (en) * 2016-10-05 2021-06-29 주식회사 메카비전 Smart glasses
RU2642350C1 (en) * 2016-12-29 2018-01-24 Самсунг Электроникс Ко., Лтд. Imaging system (versions for implementation)
JP7377413B2 (en) * 2018-04-12 2023-11-10 Toppanホールディングス株式会社 Light field image generation system, image display system, shape information acquisition server, light field image generation method, and image display method
WO2023276156A1 (en) * 2021-07-02 2023-01-05 日本電信電話株式会社 Spatial image display device, spatial image display method, and program

Also Published As

Publication number Publication date
JP2000333211A (en) 2000-11-30

Similar Documents

Publication Publication Date Title
JP3022558B1 (en) Three-dimensional display method and device
US7148859B2 (en) Three-dimensional representation method and an apparatus thereof
JP7096371B2 (en) Super stereoscopic display with enhanced off-angle separation
JP2022525561A (en) Display system that provides concentric light field and monocular to binocular hybrids
JP3453086B2 (en) Three-dimensional display method and head-mounted display device
JPH1082970A (en) Video display system for many
WO2004086771A2 (en) A stereoscopic display
JP2001054144A (en) Three-dimensional display method and device
CN207625712U (en) Vision display system and head-wearing display device
JP3789332B2 (en) 3D display device
JP2002214566A (en) Three-dimensional display method and apparatus
JPH0738825A (en) Eyeglass type display device
JP3462796B2 (en) Three-dimensional display method and device
JP2015502572A (en) Video stereoscopic system
JP2012022278A (en) Video virtual feeling glasses
JP3324695B2 (en) Three-dimensional display method and head-mounted display device
JP3324694B2 (en) Three-dimensional display method and device
JP3756481B2 (en) 3D display device
CN215494384U (en) Naked eye three-dimensional display device
JP3739350B2 (en) 3D display device
JPH11119154A (en) Virtual screen type three-dimentional display device
JP3825414B2 (en) 3D display device
JP2000333204A (en) Three-dimensional display system
JP3469854B2 (en) 3D display
JP2000347132A (en) Picture display device and method

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080718

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080718

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090718

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090718

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100718

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100718

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term