前言�オ�
虛實融合技術旨在將虛擬世界中的數字信息與現(xiàn)實世界中的物理環(huán)境相互融合，以實現(xiàn)對現(xiàn)實世界的信息增強與擴充，是元宇宙、增強現(xiàn)實、混合現(xiàn)實、擴展現(xiàn)實等領域的共性關鍵技術。借助于計算機圖形圖像處理、計算機視覺、認知科學等理論與技術，虛實融合技術可實現(xiàn)虛擬物體與現(xiàn)實環(huán)境的自動注冊與融合，營造出虛擬世界與真實環(huán)境共享同一空間的沉浸式體驗，使科幻片中的場景成為可能。在現(xiàn)實生活中，外科醫(yī)生借助虛實融合的手術導航指引，顯著提高了手術的精準性和安全性； 各大博物館紛紛推出了增強現(xiàn)實講解應用，幫助游客更為生動、形象地了解每件藏品背后所蘊藏的故事和文化； 利用虛實融合技術制作出的絢麗的舞臺效果通過電視屏幕呈現(xiàn)在千家萬戶面前�？梢钥吹剑�虛實融合技術已經走入人們的現(xiàn)實生活，并影響著現(xiàn)代社會。

虛實融合的終極目標是使虛擬景物與真實場景之間的融合毫無破綻。為了實現(xiàn)這一目標，虛實融合系統(tǒng)需要滿足幾何一致性、光影一致性和交互一致性。其中，幾何一致性指虛擬物體與真實場景必須具有一致的幾何關系，包括與真實相機一致的位置姿態(tài)、協(xié)調的透視效果、正確的幾何遮擋等，虛擬物體注冊與相機跟蹤等技術是解決幾何一致性的主要手段； 光影一致性則需要虛擬物體與真實場景共享同一個光影環(huán)境，這要求虛擬物體的外觀應與它們所處的真實場景一致，例如，虛擬物體應與真實環(huán)境具有協(xié)調的亮度與顏色，同時還需要正確模擬虛、實場景之間的陰影投射效果及其他觀影效果，為了模擬上述效果，需要通過光照計算和陰影計算技術對真實場景的光影環(huán)境進行建模，其中光照計算技術主要用于恢復場景的光照分布，陰影計算技術則主要解決真實陰影檢測與去除，以及虛實陰影相互投射與融合等問題； 交互一致性則要求虛實物體間的交互必須符合客觀規(guī)律，接受現(xiàn)實環(huán)境的約束。

我國對于虛實融合技術的研究始于20世紀90年代末。2009—2013年，浙江大學CAD&CG國家重點實驗室承擔的“混合現(xiàn)實的理論與方法”研究課題獲得國家重點基礎研究計劃（973計劃）立項資助，重點對混合現(xiàn)實的基礎理論與方法展開研究。虛實融合技術是這個項目的關鍵研究問題之一。本書作者在浙江大學攻讀碩士和博士學位時有幸參與了這個項目，重點研究虛實融合中的光影一致性問題，先后提出了若干真實場景的光影環(huán)境重建方法。參加工作后又得到四川省重點研發(fā)計劃“沉浸式文化旅游體驗關鍵技術研發(fā)及應用示范”的資助，進一步在該領域開展了深入、系統(tǒng)的研究，提出了虛實陰影交互及更為復雜的光影效果的模擬方法等，形成了光影計算理論與技術，所獲成果發(fā)表在IEEE TVCG、IEEE MM、CGF、ACM MM等重要學術期刊和會議上。

當前，學術研究對虛實融合的三個一致性大多集中于幾何一致性研究。因為相機跟蹤等技術較為成熟，所以常用的增強現(xiàn)實軟件平臺(如蘋果ARKit、谷歌ARCore等)均配備了較為穩(wěn)定的相機定位跟蹤及地圖構建功能。但是在光影一致性方面，僅有少數平臺具有簡單的光照計算功能，大多數平臺并不具備任何光照處理功能。隨著虛實融合的應用日益深入，人們對融合的外觀品質的要求越來越高，虛實融合中的光影分析和處理日益重要。但迄今為止，鮮有虛實融合光影一致性分析與處理的專業(yè)書籍出版，影響了虛實融合沉浸式技術的發(fā)展，限制了虛實融合技術在多行業(yè)多場景的落地應用。本書圍繞高真實感虛實融合中的光影計算這一主題，結合作者過去十余年的研究成果和國內外前沿進展，根據虛實融合技術的核心研究內容撰寫而成。書中匯集了虛實融合光影計算的前沿核心算法，不僅介紹了相關技術的基本概念和算法，還較為詳細地闡述了虛實融合關鍵技術的算法原理和實現(xiàn)，為廣大從事增強現(xiàn)實、擴展現(xiàn)實、元宇宙技術與系統(tǒng)開發(fā)的研發(fā)人員提供了重要技術參考。
本書共7章。第1章為虛實融合概述，帶領讀者認識虛實融合的一致性條件、虛實融合的基本流程及虛實融合與增強現(xiàn)實/混合現(xiàn)實/擴展現(xiàn)實/元宇宙等研究的關系，并對虛實融合的主要應用領域進行了闡述； 第2章針對虛實融合中的光影一致性問題，介紹光影計算的相關工作，包括自然場景的光影特點分析、光照計算的概念與流程、光照計算的已有方法； 第3章對室內場景的光照計算方法進行細化講解，包括空間變化的單幅圖像室內光照自動重建方法、室內場景動態(tài)光照的在線采集與計算方法及基于光照變化預測的深度室內動態(tài)光照計算方法； 第4章重點說明室外場景的光照計算方法，包括基于交互的室外場景光照計算、基于統(tǒng)計學習的室外場景實時光照計算、基于基圖像分解的室外場景實時光照計算、無陰影的室外場景實時光照計算、基于完備天空光模型/球面調和函數的實時光照計算及移動視點下基于特征點跟蹤的實時光照計算； 第5章介紹本征圖像分解與圖像重光照技術，詳細闡述兩種本征圖像分解技術、一種針對室外場景的重光照方法和一種針對人臉圖像的光照歸一化技術； 第6章講解室外場景的陰影檢測與陰影去除技術，以便為后續(xù)虛實陰影的交互模擬奠定基礎，具體內容包括兩種對于單幅圖像的陰影檢測方法、一種基于邊緣跟蹤的在線視頻陰影檢測技術和針對單幅圖像的陰影去除方法； 第7章闡述室外場景虛實景物的陰影相互投射與融合方法，包括虛擬景物在真實景物表面的陰影投射方法和兩種分別基于陰影體和陰影紋理來實現(xiàn)虛實陰影交互的方法。

全書由劉艷麗、邢冠宇和袁霞定稿。劉艷麗制定編寫大綱并撰寫了第1～4章的大部分內容，邢冠宇和袁霞合作撰寫了第5～7章的內容，袁霞還參與了第3章部分內容的撰寫工作。魏后勝、張琦、楊雨泓、郭子昊、王振、劉桐源、邱匯迪、吳沂桓、汪志恒、張林成、李宏等研究生參與了材料的整理工作。

由于作者水平有限，書中疏漏之處在所難免，敬請讀者批評指正。
作者2025年5月