附件下載

聯(lián)系工作人員獲取附件

概述

在當(dāng)今快速發(fā)展的技術(shù)環(huán)境中，從汽車到消費電子等各個行業(yè)對高質(zhì)量成像系統(tǒng)的需求至關(guān)重要。在關(guān)鍵部件中，相機(jī)傳感器是現(xiàn)代消費電子和成像設(shè)備的重要組成部分。了解和驗證相機(jī)傳感器在3D場景中的性能對于優(yōu)化圖像質(zhì)量和最佳視場覆蓋至關(guān)重要。本文介紹Speos在相機(jī)圖像生成中的應(yīng)用，并探討了其在現(xiàn)實場景中的應(yīng)用。

要在Speos中模擬相機(jī)的行為，可以創(chuàng)建包含相機(jī)完整光學(xué)系統(tǒng)的模擬，或者可以使用鏡頭系統(tǒng)的降階模型（ROM）創(chuàng)建相機(jī)模擬。當(dāng)需要全面比較光學(xué)系統(tǒng)的性能時，特別是在眩光和雜散光，通常會選擇完整的鏡頭系統(tǒng)，但由于考慮所有光路，通常需要更長的模擬時間。然而使用鏡頭ROM降階模型的相機(jī)允許更快的進(jìn)行不同光學(xué)系統(tǒng)性能的比較。ROM的特點是通過聚焦于光路主序列，預(yù)先計算透鏡系統(tǒng)的光學(xué)行為來提升仿真計算效率。

本文主要基于ROM的相機(jī)傳感器仿真，實現(xiàn)了快速準(zhǔn)確的相機(jī)傳感器仿真。通過再現(xiàn)關(guān)鍵的真實相機(jī)鏡頭屬性，在不損害鏡頭制造商知識產(chǎn)權(quán)的前提下，根據(jù)傳感器前捕獲的輻照度生成光度結(jié)果。

解決方案所需的主要工具

1.Speos 24R2模擬相機(jī)傳感器的輻照度圖。

2.Zemax OpticStudio 24R1及更高版本導(dǎo)出鏡頭模型，或輸出鏡頭系統(tǒng)的ROM模。

第一部分 Camera參數(shù)說明

Speos相機(jī)傳感器定義

Speos中的相機(jī)傳感器，使用鏡頭系統(tǒng)的ROM實現(xiàn)與實際相機(jī)相同的光線集成。Speos相機(jī)傳感器具有兩種模式：

1. Geometric幾何模式，可以定義相機(jī)傳感器，而無需配置每個參數(shù)，與從數(shù)據(jù)表（V1）中提取的關(guān)鍵光線角（CRA）數(shù)據(jù)兼容，可以靈活調(diào)整以下參數(shù)：相機(jī)的位置和方向，系統(tǒng)的降階模型，傳感器尺寸和分辨率。

這些參數(shù)為用戶提供了在幾何模式下對相機(jī)設(shè)置的簡潔性，進(jìn)行快速FOV驗證，快速的計算模擬，而且在幾何模式下，不需要光學(xué)屬性，Speos使用CAD中的渲染屬性。

2.Photometric/Colorimetric光度/色度模式，這種模式詳細(xì)全面的對傳感器的參數(shù)進(jìn)行了完整的定義，包括：相機(jī)的位置和方向(根據(jù)ROM版本的不同，原點的位置不同：使用V1 ROM時，原點在入瞳位置，而使用V2和二進(jìn)制ROM時，原點在成像儀的中心)，物鏡系統(tǒng)的降階模型，傳感器尺寸和分辨率，采集信息包括積分時間和滯后時間（可選-如果在仿真中啟用了時間軸功能），傳感器的軌跡（可選-如果相機(jī)處于運動狀態(tài)），波長范圍用于指定光譜傳播范圍，相機(jī)傳感器定義中的Layer選項允許將仿真結(jié)果按光源分層，并單獨探索從每個光源生成的圖像。

Speos相機(jī)傳感器功能可以在3D場景中對各種相機(jī)類型（如可見光、紅外或熱像儀）進(jìn)行精確建模，復(fù)制真實的照明條件并生成可量化的輻照度結(jié)果。通過啟用時間軸模擬和指定相機(jī)積分和滯后時間，以及相機(jī)或物體在場景中的軌跡，照度或輻照度地圖可以轉(zhuǎn)換為曝光結(jié)果。曝光圖表示傳感器接收到的功率，基本上是輻照度數(shù)據(jù)乘以積分時間，單位為J/mm2，可用于運動模糊和滾動快門結(jié)果的展示。

透鏡系統(tǒng)光學(xué)降階模型（ROM）

為了將Zemax OpticStudio鏡頭設(shè)計的ROM集成到Speos相機(jī)定義中，并在更廣泛的模型環(huán)境中復(fù)制相機(jī)鏡頭的效果，Speos使用帶有*.OPTDistortion擴(kuò)展項文件。這些文件封裝了鏡頭系統(tǒng)的ROM。這些ROM可以從來自數(shù)據(jù)表（V1）的臨界光線角（CRA）數(shù)據(jù)中導(dǎo)出，或者為了提高精度，直接從Zemax OpticStudio（二進(jìn)制版本）設(shè)計的鏡頭系統(tǒng)中提取。

Zemax OpticStudio提供了一個專用的“Export Reduced Order Model to Speos”工具，可通過文件菜單訪問，方便調(diào)整如下所述的各種參數(shù)：

1.Sensor Width and Sensor Height：定義傳感器的尺寸。

2.Skip System Reversal：選中此選項時，將跳過導(dǎo)出過程中所需的系統(tǒng)反轉(zhuǎn)，適用于不能正確反轉(zhuǎn)與自動反轉(zhuǎn)的系統(tǒng)。

3.Use Radial Symmetry：對于軸對稱系統(tǒng)，徑向?qū)ΨQ可以進(jìn)行計算，取消選中此選項將顯示非對稱系統(tǒng)（包括鏡頭系統(tǒng)和成像儀）。

4.X and Y Sensor Sampling：對于非軸對稱系統(tǒng)，指定傳感器在X和Y方向上的采樣數(shù)量。

5.R Sensor Sampling：確定圖像空間中徑向采樣點的個數(shù)以生成數(shù)據(jù)。根據(jù)鏡頭系統(tǒng)的畸變程度，它通常的范圍從~10最小失真的鏡頭系統(tǒng)到高達(dá)50的魚眼鏡頭類型，表現(xiàn)出顯著的失真，典型值為30。

6.Ray Sampling：指定用于計算傳輸?shù)絊peos的參數(shù)的射線采樣網(wǎng)格，該參數(shù)定義用于計算傳輸?shù)絊peos的參數(shù)的射線采樣網(wǎng)格，通常，默認(rèn)值足以滿足大多數(shù)場景。然而，在鏡頭有強(qiáng)烈的像差的情況下，或者當(dāng)處理鏡頭系統(tǒng)包含鏡頭偏移和傾斜時，64x64可能是有意義。但是建議避免值超過128x128。

7.Configuration：從多配置操作數(shù)的下拉菜單中選擇一個配置來修改反向系統(tǒng)，并將所選配置導(dǎo)出到Speos。

注意：在Zemax OpticStudio中生成ROM時，請確保設(shè)置感興趣的波長范圍。在Zemax OpticStudio的系統(tǒng)資源管理器中，設(shè)置至少3個波長，從小到大排列，例如對于可見光范圍設(shè)置波長范圍為400nm到700nm。Zemax OpticStudio中的最小和最大波長決定了Speos中可以模擬的最大波長范圍。

Speos根據(jù)Zemax OpticStudio的每個波長計算結(jié)果插入中間波長采樣。為了避免偏差，在Zemax OpticStudio中使用更多的波長采樣是更準(zhǔn)確的。而OptDistortion文件與樣本數(shù)量成正比，所以生成*.OPTDistortion會相應(yīng)的增加時間。建議設(shè)置5 ~ 7個波長樣本，以平衡精度和計算時間。Zemax OpticStudio中的波長權(quán)重不影響ROM文件的導(dǎo)出。

最新ROM說明

最新版本的鏡頭ROM在OPTDistortion文件中（二進(jìn)制版本）包括更多信息，以確保準(zhǔn)確管理視場，失真畸變，景深，分辨率，入瞳位置，漸暈，動態(tài)（滾動快門，運動模糊）和色差。

因此，使用ROM模型進(jìn)行的模擬結(jié)果與直接在CAD透鏡模型上進(jìn)行的模擬結(jié)果沒有顯著差異。二進(jìn)制版本ROM可以使用ZemaxOpticStudio 2024 R1和更高版本創(chuàng)建生成。

使用OPTDistortion文件到Speos模擬的目標(biāo)是：執(zhí)行相機(jī)行為的快速模擬（與模擬完整的相機(jī)系統(tǒng)相比）再現(xiàn)大多數(shù)真實鏡頭屬性執(zhí)行模擬而不暴露制造商的知識產(chǎn)權(quán)。

為了驗證二進(jìn)制ROM的性能，對不同的透鏡系統(tǒng)類型進(jìn)行了測試，包括單雙圓錐透鏡、庫克三重透鏡、雙高斯透鏡、均勻非球面透鏡、手機(jī)透鏡、望遠(yuǎn)鏡透鏡。通過對每個配置的MTF結(jié)果進(jìn)行比較來驗證。MTF代表調(diào)制傳遞函數(shù)，由一個描述圖像細(xì)節(jié)清晰度的函數(shù)組成，被廣泛應(yīng)用于成像行業(yè)。

通過將ROM與Zemax Opticstudio和Speos中的全鏡頭系統(tǒng)模擬進(jìn)行比較，驗證透鏡系統(tǒng)的ROM。下圖所示是Speos ROM和Zemax OpticStudio全鏡頭模型的對比。

在另一項測試中，使用具有大光圈和低質(zhì)量的鏡頭系統(tǒng)，將ROM模擬與Speos中的全鏡頭系統(tǒng)幾何結(jié)構(gòu)進(jìn)行比較，兩種模擬結(jié)果都顯示出具有色差的一致圖像質(zhì)量。在本仿真中，一組代表視場不同方向的光源在輻照度傳感器上成像：在RTX A5000 GPU內(nèi)核上，帶有ROM的相機(jī)仿真在6秒內(nèi)完成，而在類似的GPU上，完整幾何圖形的仿真在30分鐘內(nèi)完成，使用GPU速度顯著提高。

上圖顯示了與全鏡頭系統(tǒng)和ROM之間的輻照度圖的比較?？傮w而言，Speos中的相機(jī)傳感器提供了一套全面的工具，用于精確的相機(jī)模擬和分析，與在各種應(yīng)用中使用全鏡頭模型的情況相比，能夠確保色差和更快的圖像生成。

如上所述，Speos相機(jī)傳感器中的幾何模式提供了相機(jī)傳感器參數(shù)的簡化版本，主要用于快速FOV研究網(wǎng)格生成過程中的默認(rèn)渲染屬性。另一方面，光度/色度模式提供了對相機(jī)傳感器參數(shù)的廣泛控制，包括可用于3D場景中圖像質(zhì)量分析的光度定義。

接下來的案例中，將更多地關(guān)注創(chuàng)建靜態(tài)相機(jī)模擬（沒有運動）和調(diào)整相機(jī)系統(tǒng)的位置。

第二部分 Camera案例運算

基于從Zemax OpticStudio模型生成的ROM創(chuàng)建了一個相機(jī)傳感器，以下是本文中使用的Speos機(jī)器視覺場景以及操作步驟。

接下來，在Speos中定義相機(jī)傳感器參數(shù)：

首先定義原點：

在“設(shè)計>創(chuàng)建”選項卡中單擊原點，作為創(chuàng)建相機(jī)傳感器軸系統(tǒng)的標(biāo)準(zhǔn)做法。

右鍵單擊在結(jié)構(gòu)樹中創(chuàng)建的原點并將其重命名為Camera_origin。

定義相機(jī)傳感器：選擇Camera Sensor，將相機(jī)傳感器重命名為Photometric_Camera。

設(shè)置相機(jī)軸系統(tǒng)：選擇創(chuàng)建的Camera_origin來定義相機(jī)傳感器的方向（原點、水平方向和垂直方向）。

調(diào)整光學(xué)參數(shù)：設(shè)置以下光學(xué)參數(shù)的值，這些參數(shù)決定物鏡的性能。選擇*.optdistortion文件，代表ROM鏡頭。

定義傳感器和靈敏度參數(shù)：定義每個通道的整體靈敏度。這包括傳感器的像素靈敏度和彩色濾波器陣列。

調(diào)整波長：在模擬中使用的光譜帶寬和精度。

Speos可以在3D窗口中可視化相機(jī)：右鍵單擊模擬樹中的Photometric_Camera傳感器，選擇option選項以使用對象場可視化半徑調(diào)整傳感器的預(yù)覽。這只是為了可視化的目的，與模擬無關(guān)。

在3D視圖中獲取相機(jī)傳感器的觀察視角，請單擊傳感器定義界面得自動取景圖標(biāo)，查看該傳感器在模擬期間能夠捕獲的場景內(nèi)容。

Speos中的相機(jī)傳感器專門需要與inverse逆向仿真一起工作。光線以相反的方向傳播，從傳感器開始進(jìn)入3D場景。

在仿真樹中，選擇inverse simulation，點擊工具指南圖標(biāo)包括用于選擇和驗證窗口中的幾何圖形、光源和傳感器的選項，并通過綠色復(fù)選標(biāo)記選擇內(nèi)容。

可以修改模擬停止條件，如持續(xù)時間或通過Pass次數(shù)。運行模擬，右鍵單擊Camera模擬，選擇“計算”進(jìn)行CPU計算或GPU計算。模擬完成后，計算文件將出現(xiàn)在模擬樹下，其中包括以下文件：HTML文件，XMP文件（Radiance），XMP文件（irradiance），PNG圖像文件，HDR文件。

注意：如前所述，如果相機(jī)定義中使用二進(jìn)制版本的ROM，若需要運行考慮色散的反向模擬，則需要啟用色散，需要右鍵單擊模擬樹中的inverse模擬（例如，Camera_sim1），然后選擇'Options' > ‘ inverse simulation ‘并勾選’ dispersion ’。

注意：在相機(jī)傳感器定義中，以下參數(shù)會影響輻照度圖：

其他參數(shù)用于創(chuàng)建HDR和PNG。強(qiáng)烈建議使用輻照度結(jié)果，因為生成PNG和HDR結(jié)果會因為適應(yīng)顯示而做出圖像處理，并不能真是表征結(jié)果，特別是如果需要真實的鏡頭表征。如果對生成電子地圖、原始圖像或最終處理圖像感興趣，建議使用Ansys Speos Sensor System簡稱SSS。

關(guān)于SSS的介紹，可以查看往期文章：Ansys Speos SSS｜傳感器特性與EMVA1288標(biāo)準(zhǔn)以及Lumerical傳感器驗證

雙擊*. Irradiance.XMP結(jié)果，可以清楚地看到，條形碼在視圖中更具可讀性，照明更均勻，失真更少。也可以檢查xmp結(jié)果中的偽色圖（而不是真色），并在像素級探索輻照度值。

總結(jié)

Speos相機(jī)傳感器允許用戶快速生成相機(jī)從3D場景中捕獲的光量，考慮關(guān)鍵相機(jī)參數(shù)?？梢栽u估不同行業(yè)的各種傳感器類型（可見光，SWIR， MWIR， LWIR）的性能。此外，用戶還可以探索相機(jī)動態(tài)，包括當(dāng)相機(jī)或場景中的物體移動時的滾動快門和運動模糊效果，以及由相機(jī)感知到的光源調(diào)制引起的閃爍效果。