本文是Speos Sensor System exporter（SSS）的使用指南，這是一個強大的解決方案，用于camera sensor模擬結(jié)果的后處理。本文介紹了一組實際示例，以演示該工具基于EMVA 1288標準從傳感器的降階模型生成電子圖和Raw圖像的能力，使得Speos SSS的核心功能及其在camera模擬應(yīng)用，提供更深層次的理解。
Speos SSS工具，專為使用Speos camera模擬結(jié)果的后處理。該工具將光譜曝光/輻照度圖轉(zhuǎn)換為Raw圖像、電子圖和顯影圖像。從光度結(jié)果到電子圖和原始圖像的轉(zhuǎn)換基于傳感器的降階模型，遵循EMVA 1288標準。EMVA 1288是一個行業(yè)標準規(guī)范，描述了機器視覺和成像應(yīng)用的圖像傳感器性能。它為關(guān)鍵傳感器參數(shù)提供標準化測試，如響應(yīng)、動態(tài)范圍、噪聲、暗電流和量子效率。
要使用SSS export，并生成Raw圖像和電子圖，需要有speos生成的光譜曝光圖exposure map，或輻照度圖Irradiance map，和EMVA 1288標準傳感器數(shù)據(jù)。然后，SSS工具自動處理這些數(shù)據(jù)，以創(chuàng)建有關(guān)camera傳感器采集的有價值的結(jié)果。為了生成電子圖，SSS利用外部量子效率(EQE)數(shù)據(jù)，該數(shù)據(jù)可以從Lumerical或數(shù)據(jù)表中獲得。
本文旨在展示SSS工具提供的廣泛性和可能性。每個功能都使用實際示例進行演示，并放入相應(yīng)的文件夾中，以便于執(zhí)行運算。SSS工具沒有圖形用戶界面，因此了解文件管理對于正確使用至關(guān)重要。
為了快速找到所需的示例，下面提供了一個目錄列表，以下案例的運行可根據(jù)需求尋找相應(yīng)的板塊。
1.集成時間vs系統(tǒng)增益
2.暗噪聲
3.PRNU 和 DSNU
4.熱噪聲
5.隨機擾動噪聲
6.Lumerical耦合過程
在案例中并單擊“啟動Speos SSS.bat”文件。此操作將運行示例，生成的結(jié)果將存儲在“output”文件夾中，并利用相應(yīng)的“Inputs”文件夾中的數(shù)據(jù)。通常不需要修改batch文件，可以正確的調(diào)用SSS可執(zhí)行文件。如果需要，可以在Speos的安裝文件中找到SSS可執(zhí)行文件(通常在“C:\Program files \ANSYS Inc\v232\Optical Products\Viewers\SSSExporter.exe”中)。注意:如果本地安裝不在上述路徑上，則需要在batch文件中調(diào)整位置。如果錯誤信息“無法連接到Virtual Photometric Lab”，需要以管理員身份運行相應(yīng)版本的Virtual Photometric Lab一次。
傳感器的參數(shù)在sensor.yaml文件中，在該文件中可以輸入填寫傳感器參數(shù)。
1.傳感器使用條件的信息，包括增益，偏移，曝光時間和溫度。
2.傳感器的屬性信息，包括分辨率、像素大小和位深度。
3.EMVA數(shù)據(jù)，描述了與EMVA 1288模型標準相關(guān)的傳感器性能，包括紅外和紫外濾波器，量子效率，拜耳矩陣，系統(tǒng)增益，時間暗噪聲，AST, DR，暗電流和空間非均勻性。注：量子效率可以是模擬的輸入，例如用Ansys Lumerical計算的數(shù)據(jù)導(dǎo)出到j(luò)son文件。
1.Integration time vs System Gain集成時間vs系統(tǒng)增益
在成像場景中，無論是在低光條件下，高對比度的場景，還是需要精細細節(jié)的情況下，在傳感器增益和曝光時間之間找到適當(dāng)?shù)钠胶馐侵陵P(guān)重要的。這種平衡可以幫助實現(xiàn)最佳的圖像質(zhì)量，減少噪點，并準確地表示場景的動態(tài)范圍。通過模擬不同的條件和場景，SSS能夠分析傳感器增益和曝光時間對圖像質(zhì)量的影響，包括有和沒有暗噪聲。
傳感器增益放大捕獲的信號，使圖像變亮，但它也可能放大噪聲，降低圖像質(zhì)量。同樣，更長的曝光時間可以讓更多的光線到達傳感器，從而產(chǎn)生更亮的圖像。然而，較長的曝光會導(dǎo)致動態(tài)場景中的運動模糊，因此需要與適當(dāng)?shù)脑鲆嬖O(shè)置進行仔細的平衡。
2.Temporal Dark Noise暗噪聲
時間暗噪聲的特征是當(dāng)沒有光存在時，傳感器輸出信號的變化通常是由電子噪聲和溫度波動引起的。了解時間暗噪聲的影響對于評估傳感器的性能和各種應(yīng)用的適用性至關(guān)重要。SSS export允許使用不同曝光條件下，傳感器輸出中的時間暗噪聲的影響，通過對傳感器YAML文件中的傳感器時間暗噪聲進行實驗，研究傳感器輸出中的噪聲行為。錄制的視頻展示了不同時間暗噪聲水平的顯影圖像結(jié)果。
點擊圖片即可跳轉(zhuǎn)原文觀看動圖
3.PRNU 和 DSNU
在圖像傳感器特性的背景下，到目前為止討論的大多數(shù)參數(shù)，都集中在單個像素或它們的平均行為上。但是，必須認識到像素數(shù)組的參數(shù)可以從一個像素變化到另一個像素。對于線性傳感器來說，光響應(yīng)不均勻性(PRNU)和暗信號不均勻性(DSNU) 對圖像質(zhì)量起著至關(guān)重要的作用。這些變化可以引入像素靈敏度和暗信號水平的不均勻性，導(dǎo)致圖像中不必要的噪聲和偽影。SSS提供了實驗和校準傳感器特性的能力，如PRNU和DSNU。通過將EMVA相關(guān)數(shù)據(jù)合并到其模擬中，探索這些不均勻性對圖像質(zhì)量的影響。
PRNU是指圖像傳感器像素間的靈敏度變化，在相同的入射光強度下，會導(dǎo)致像素響應(yīng)的微小差異。如本例所示，PRNU的校準可以對糾正這些靈敏度變化產(chǎn)生影響，從而獲得更準確和一致的像素響應(yīng)。
DSNU是指當(dāng)沒有光入射到傳感器上時，圖像傳感器中各個像素之間暗信號水平的變化。如下所示校準DSNU對于消除不需要的暗信號變化是有用的。這種校準有助于確保圖像數(shù)據(jù)的準確性和可靠性，特別是在具有挑戰(zhàn)性的照明場景中。
SSS export提供了探索光響應(yīng)非均勻性和暗信號非均勻性的能力，增強了不同成像應(yīng)用的圖像質(zhì)量。
4.Thermal Noise熱噪聲
理解和量化熱噪聲對camera傳感器的特性和性能評估至關(guān)重要。這種噪聲的產(chǎn)生是由于存在于傳感器組件中的熱能，導(dǎo)致信號水平的隨機波動。在低光或高增益場景下，傳感器中的這種固有噪聲現(xiàn)象會嚴重影響圖像質(zhì)量，導(dǎo)致信噪比(SNR)降低，影響圖像的整體清晰度。在需要高靈敏度和高精度的應(yīng)用中，最小化熱噪聲是必不可少的。
SSS export提供了根據(jù)EMVA數(shù)據(jù)對傳感器熱噪聲進行驗證的功能。通過將熱噪聲模型納入模擬，SSS在不同的操作條件下評估和評估傳感器的熱噪聲性能。
點擊圖片即可跳轉(zhuǎn)原文觀看動圖
5.Statistical noise隨機擾動噪聲
隨機噪聲是為了突出SSS光子噪聲而增加的參數(shù)。它被集成在工具中，可以在Speos map的均勻區(qū)域上給出更準確的結(jié)果，因為真正的傳感器很少能在多個像素上測量相同數(shù)量的光子。原始圖是只包含同質(zhì)區(qū)域的曝光圖。輸出是XMP格式的Raw圖?？梢钥吹矫娣e不再是均勻的。
Starting map VS raw photon map
6.Lumerical耦合
SSS最初是基于EMVA1288標準生成傳感器圖像，用于表征傳感器圖像。然而，該標準對傳感器做了一個主要假設(shè)，即量子效率僅與波長有關(guān)，并且在傳感器區(qū)域內(nèi)均勻。對于許多傳感器來說，這可能不是真的。實際上，像素的量子效率通常取決于光入射，而光入射在傳感器的每個像素上并不相同。因此，實際量子效率可以看作是波長和光入射(或在像素矩陣上的位置)的函數(shù)。這種先進的量子效率可以通過Ansys Lumerical計算出來?？梢允褂盟鼇砭_地設(shè)計像素矩陣，并將量子效率導(dǎo)出為JSON文件。
SSS將讀取這個JSON文件作為輸入，它將用于替換EMVA1288標準輸入。Lumerical文件有兩種可用的模式
模式一，QE作為光入射的函數(shù)，這種模式僅限于具有旋轉(zhuǎn)軸的透鏡系統(tǒng)。在JSON文件中，QE被定義為一個3D矩陣：入射vs波長vs拜耳矩陣。如例，2單色變化2種基本的顏色變化
模式二，QE作為傳感器的函數(shù)，此模式可用于任何鏡頭系統(tǒng)。在JSON文件中，QE被定義為一個3D矩陣：像素位置vs波長vs拜耳矩陣。數(shù)值模式2的例子，隨機顏色變化。
通過這些例子可以看出，Lumerical仿真可以給出更先進、更準確的結(jié)果。
本文介紹了Speos Sensor System export功能，用于在Speos中對camera模擬結(jié)果進行后期處理。本文展示了基于傳感器的降階模型創(chuàng)建電子圖和Raw圖像的實際示例，與EMVA 1288標準保持一致，涵蓋集成時間、噪聲、耦合等，生成的結(jié)果存儲在特定文件夾中。此外，lumerical也將為SSS的后處理，提供更準確的結(jié)果。