すべての記事

Ultra HDR から Space HDR へ:空間の閲覧を支える HDR 画像処理

Realsee は Ultra HDR を Space HDR へ拡張し、RAW 撮影、軽量配信、パノラマ閲覧、後編集をつなぎます。PAMARAH Lodge の比較を通じて、ゲインの位置合わせ、視野に応じた詳細表示、視点間の遷移、ディスプレイ出力の仕組みを解説します。
再構成した空間の自然光と室内照明

空間を見るとき、私たちは間取りを把握し、細部を確かめ、部屋から部屋へ移動します。自然光、表面の反射、室内照明の見え方は、立つ位置と見る方向によって変わります。デジタル空間でも、この一連の動きを支える必要があります。

Realsee は Ultra HDR の画像表現を Space HDR へと拡張しています。パノラマ空間向けの軽量なオンライン HDR 方式として、撮影、データのパッケージ化、配信、表示、後編集までをつなぎます。利用者は周囲を見渡し、細部を拡大し、視点間を移動できます。撮影時に記録した光の情報を、その体験全体へ届けることが私たちの課題です。[1] [2]

PAMARAH Lodge で Space HDR を体験する

PAMARAH Lodge の Space HDR 体験を開くと、同じ空間の見え方を比較できます。モデルの俯瞰表示では建物の構成を把握でき、パノラマ表示に戻ると周囲や細部を確認できます。[3]

最初のパノラマ(左側または上側)にある「24K HDR」表示を確認し、「Sync view」で見る方向を同期して比較してください。モデルの俯瞰表示や、もう一方の比較画面では表示の有無が異なります。対応状況の検出を実行すると、システムの HDR を有効にする、ブラウザーを更新する、HDR 対応ディスプレイや端末に切り替える、といった次の操作を確認できます。

埋め込みの HDR 対応チェックを実行すると、現在のブラウザーとディスプレイの対応状況を確認できます。

HDR の表示環境を確認する

HDR 表示が見つからない場合はチェックを実行し、ブラウザーやディスプレイについての案内に従ってください。表示はパノラマ画面で確認してください。

チェックを開始できます

Space HDR は、この閲覧体験に高ダイナミックレンジの画像を組み込みます。パノラマは撮影した見え方を担い、モデルは空間の構成と移動を支え、HDR データは画像内の光の関係を補います。

Ultra HDR の画像情報を、空間モデル、複数のパノラマ視点、詳細表示につなぐ Space HDR の構成

モデルは間取りとナビゲーションを担い、パノラマは各視点で撮影した画像を担います。

RAW の光の情報をオンラインの空間へ届ける

Space HDR の出発点は、Realsee Galois が撮影した RAW データです。この元データを基に画像処理を行い、圧縮とパッケージ化を経て、光の情報をブラウザーでの表示まで届けます。[1]

元データは、撮影と処理に必要な情報を保持します。一方、オンラインでの閲覧には、ネットワーク配信、デコード、端末上のテクスチャーの負荷も考慮しなければなりません。そこで画像を軽量なリソースとして構成し、まずパノラマの基礎画像を提供し、表示に応じて局所的な詳細を追加します。パッケージ化は情報の運び方を、リソース構成は閲覧中の使い方を決めます。

画像層は Ultra HDR の方式に従い、SDR(標準ダイナミックレンジ)のベース画像、ゲインマップ、メタデータで構成します。Ultra HDR JPEG は、通常の閲覧ソフトではベース画像を表示できます。対応デコーダーは追加情報を使って HDR 画像を復元します。[4] [5]

ゲインマップは、SDR と意図した HDR 表現との関係を、画像内の位置ごとに記述します。窓のハイライトと日陰の壁には、異なるゲインを適用できます。復元ではまずベース画像を線形光に変換し、ガンマ、ゲイン範囲、オフセットのメタデータを使ってゲインマップを解釈します。これらのデータが画像の明るさの復元を定義します。[4]

空間の閲覧では、ベース画像、ゲインマップ、復元パラメーターを、対応する視点と組み合わせて管理します。JPEG にまとめられた情報も、対になる空間リソースとして読み込めます。どちらの形式でも、画像、パラメーターの単位、色の解釈を一致させる必要があります。

向きを変えてもズームしても、光の情報を一致させる

窓の方へ向きを変えると、パノラマがサンプリングする領域も変わります。ゲインマップも同じ方向に追従しなければなりません。ベース画像とゲインデータを対応する視線方向でサンプリングし、現在表示している面に復元処理を適用します。

2 枚の画像の解像度は異なっていても構いません。重要なのは、向きと位置が対応していることです。窓枠に対応するゲインデータは、ベース画像の同じ窓枠に対応させる必要があります。公開形式でも、向きを一致させ、ゲインマップをリサイズする際には少なくともバイリニアサンプリングを用いることが求められます。[4]

ズームには別の条件も加わります。視野角を狭めると、小さな領域が画面上のより多くのピクセルを占めるため、細かなテクスチャーが必要になります。Realsee のパノラマレンダラーは、視野角と表示サイズから詳細度を選びます。ベース画像とゲイン画像には、対応する領域と読み込みパラメーターを使います。テーブルの細部が追加で届くと、その領域の復元データも追従します。

色とゲインは、扱いを分ける必要もあります。色のテクスチャーは線形光へデコードしますが、ゲインのテクスチャーは数値データとしての意味を保持しなければなりません。テクスチャーを再利用するときもこの区別を保ち、ゲイン値に意図しない色変換がかかるのを防ぎます。

視点を変えるたびに、一式の情報が必要になる

ダイニングから廊下へ移動するとき、変わるのはカメラの向きだけではありません。新しい視点には、その視点のベース画像、ゲインマップ、復元パラメーターがあります。前の場所のデータを、新しい画像に結び付けたままにしてはいけません。

視点間の遷移では、それぞれに利用可能な HDR データがあるかを判定し、対応する画像表現を選んでから画面を合成します。SDR ベース画像しかない視点では、その情報を使います。HDR の適用は視点ごとに決まり、施設全体に 1 つの明るさ係数をかけるわけではありません。

モデルの俯瞰表示からパノラマに戻るときも、現在の視点、画像リソース、表示状態を一致させる必要があります。モデルで目的の場所を見つけ、そこへ移ると、その位置の画像とゲインデータを表示に使います。空間の移動と HDR 画像処理は、同じ閲覧体験を構成する連続した処理になります。

復元した明るさの範囲を画面まで保つ

復元では、表示側の目標ヘッドルームを使って、適用するゲインの量を決めます。Adobe のゲインマップの説明では、この適応を表示時に行うことで、同じ画像を異なる表示条件で利用できるとしています。[6]

ゲインの重みが与える影響を、簡単な例で見てみます。線形のベース値を S = 0.5、デコード済みのゲインを G = 4 とし、オフセットを 0 とすると、復元式は次のようになります。

H = S × Gw

ここで w は適用するゲインの重みです。SDR の白を 1 とする線形のスケールで、重みを 0、0.5、1 にすると、出力はそれぞれ 0.5、1.0、2.0 になります。パノラマの復元では、各サンプル位置の画像とゲインに、表示側の目標ヘッドルームを組み合わせて出力を計算します。[4]

復元した値は、その後の描画でも保持する必要があります。SDR の白を 1 とする線形表現では、2.0 は基準となる白より上の範囲を表します。中間テクスチャーや出力段階で 1.0 に切り詰めると、この違いは失われます。私たちの HDR 経路は浮動小数点表現を使い、これらの値を拡張レンジの canvas へ届けます。Chrome が公開している WebGPU の例では、rgba16float と extended のトーンマッピングを使っています。[7]

描画の前に、Realsee は利用者の設定、ディスプレイの対応状況、使用中のバックエンドから HDR パラメーターを選びます。ディスプレイの対応状況やバックエンドが変わった場合は、パラメーターを同期し、その回の描画を見送り、新しい設定でパノラマの中間テクスチャーを更新します。描画後は、現在のマテリアルでのゲイン使用状況と canvas の設定を確認し、そのフレームの HDR 状態を更新します。

HDR 表示には、ブラウザー、OS、ディスプレイそれぞれの対応が必要です。dynamic-range: high というクエリーは、対応状況を示す信号を提供します。復元にはアプリケーションが指定した目標ヘッドルームを使い、実際に表示できる範囲はシステムとディスプレイの現在の状態によって決まります。[8]利用者が HDR を無効にした場合、クエリーが high に一致しない場合、または WebGL 2 バックエンドを使用している場合は、空間ビューアーは SDR のベース画像を使います。

編集と AI 処理も同じパイプラインにつなぐ

Space HDR は、画像処理の中に後編集と AI の利用も含めています。[1]こうした処理でも、生成するコンテンツのベース画像、ゲインマップ、復元パラメーターの関係を保つ必要があります。

例えば、画像を回転・切り抜きする場合は、対応するゲインデータの位置関係も維持しなければなりません。光の関係を変える場合には、それに合わせて HDR 表現を更新する必要があります。編集後の結果は、整合した一式のリソースとして空間の閲覧に引き継げます。

Panorama Viewer と Space HDR の空間を試す

開発者は、Realsee がオープンソースで公開している Panorama Viewer から、Ultra HDR の画像とパノラマの機能を試せます。Ultra HDR JPEG からベース画像、ゲインマップ、メタデータを読み取り、GPU 上で画像を復元し、表示ゲインを調整できます。見回したりズームしたりするとき、1 枚の画像がどう扱われるかを理解する出発点になります。[9] [10]

Space HDR の体験は、PAMARAH Lodge の比較画面で確認できます。最初のパノラマ(左側または上側)に入り、HDR 表示を確かめてから、向きを変えたり視点間を移動したりして、ハイライト、素材、室内の光を見てください。[3]

さらに公開事例を見るには、Realsee Discoverをご覧ください。レストラン、住宅、ホテル、博物館、小売店などのカテゴリーから探せます。[11]

参考資料