文章目錄
- 1.圖漾相機設置IP
- 1.1 前期準備
- 2.FM851-E2相機
- 2.1 FM851-E2適用場景
- 2.2 FM851-E2 IO線和數據線定義
- 2.2.1 IO接口定義
- 2.2.2 數據接口線
- 2.2.3 相機正面安裝方向
- 2.2.4 相機IO指示燈
- 2.3 FM851-E2/FM855-E2-7相機RGB顏色異常
- 【解決措施1】：
- 【解決措施2】：
- 2.4 FM851-E2相機成像質量差
- 【問題描述】：
- 【排查過程】：
- 1.首先排查現場環境：
- 2.現場材質因素：
- 3.相機參數設置不合理：
- 4.相機標定失效
- 5.相機激光器損壞
- 6.工作環境(主要是溫度和濕度)
- 7.相機安裝高度角度
- 8.相機工作距離偏遠或者偏近
- 3.M854-E1相機
- 3.1 FM854-E1適用場景
- 3.2 FM854-E1 IO線和數據線定義
- 3.2.1 IO接口定義
- 3.2.2 數據接口線
- 3.2.3 相機正面安裝方向
- 3.2.4 相機IO指示燈
- 4.M855-E1相機
- 4.1FM855-E1適用場景
- 4.2 FM851-E1 IO線和數據線定義
- 4.2.1 IO接口定義
- 4.2.2 數據接口線
- 4.2.3 相機正面安裝方向
- 4.2.4 相機IO指示燈
- 4.3 FM855-E1 成像問題
- 4.3.1 黑色托盤成像差
- 4.3.2 點云噪點多
- 5.TM26X之dTOF避障相機
- 5.1 TM262/TM265產品介紹
- 5.2 TM262-E1/TM265-E1 IO線和數據線定義
- 5.2.1 IO接口定義
- 5.2.2 數據接口線
- 5.2.3 TM262相機正面安裝方向
- 5.2.4 TM265相機正面安裝方向
- 5.2.5 相機IO指示燈
- 5.3 TM26X成像問題
- 5.3.1多臺相機同時使用產生異常點云
- 【解決措施】：
- 5.3.2 倒車過程中，叉尖相機誤避障
- 【解決措施】
- 6.TM421之iTOF相機
- 6.1 TM421 工作場景
- 6.2 TM421 IO線和數據線定義
- 6.2.1 IO接口定義
- 6.2.2 數據接口線
- 6.2.3 TM421相機正面安裝方向
- 6.2.4 相機IO指示燈
- 6.3 TM421成像問題
- 6.3.1 附近有反光柱造成成像異常
- 6.3.2托盤上有高低反材質
- 【原因解釋】：
- 【緩解措施】：
- 6.3.3 相機貼地安裝/高亮地面等造成成像異常
- 【原因解釋】：
- 【緩解措施】：
- 6.3.4拍攝高反料卷
- 7.圖漾相機共性操作
- 7.1 保存圖像
- 7.2 圖漾相機常見錯誤碼及解決措施
- 7.3 圖漾相機如何計算視野？
- 7.4 相機是否支持ISP功能？
- 7.5圖漾相機如何保存參數？
1.圖漾相機設置IP
1.1 前期準備
??1.一根超五類及其以上規格網線(cat5e、cat6…）
??2.PercipioViewer2.6.1軟件
小技巧1：
??圖漾相機出廠默認是自動IP，相機上電后，建議先將電腦上網絡適配器改為自動獲取IP后，通過PeripioViewe2.6.1軟件連接一下相機，之后再將電腦上網絡適配器改為靜態IP后，再將相機設置為靜態IP。
小技巧2：
??建議使用最新版本PercipioViewer 2.6.1，在更改電腦主機網絡適配器IP后，PercipioViewer2.6.1軟件會自動更改默認網關和子網掩碼。
??將網線一端連接相機設備或者AGV小車控制器調試接口，另外一端與電腦直連，確定電腦網段操作如下：
??詳細IP操作可查看如下鏈接：
??相機更改IP操作
2.FM851-E2相機
2.1 FM851-E2適用場景
??適用材質：木質、普通藍色塑料，金屬托盤，帶反光柱等場景。
??特點：波段830nm，抗光性較弱，不建議在有陽光斜射的場景使用，且建議托盤上邊沿壁厚超過20mm，否則上邊沿容易出現點云斷裂現象。
??不適用材質：黑色等低反射率材質托盤。
??不適用的現場環境：有陽光斜射、頂部有天窗或者黑暗環境下使用(如果使用深度學習+3D模版匹配，RGB亮度不夠，造成識別率偏低)。
2.2 FM851-E2 IO線和數據線定義
2.2.1 IO接口定義
2.2.2 數據接口線
?? 建議使用千兆以太網，如果相機在動態場景中使用，建議使用高柔以太網線。
2.2.3 相機正面安裝方向
??FM851-E2相機的安裝方向，有以下方式判斷：
2.2.4 相機IO指示燈
?? FM851-E2和FM855-E2-7相機狀態指示燈如下圖所示：
2.3 FM851-E2/FM855-E2-7相機RGB顏色異常
??在實際應用場景中，FM851-E2相機由于RGB相機本身，沒有硬ISP功能，常常會出現R/G/B三通道增益值設置的不合理，造成采集的圖片成像異常。
??1.碰到這種情況，首先要降低RGB的AnalogGain值，其次降低曝光值
??2.同時建議把RGB三通道數值或者AutoISP功能。
【解決措施1】：
第一種：大概按照3:2:3的一個比例去設置R/G/B三通道的數值//獲取RGB支持的屬性bool hasRGB_ANALOG_GAIN, hasRGB_R_GAIN, hasRGB_G_GAIN, hasRGB_B_GAIN, hasRGB_EXPOSURE_TIME;ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_ANALOG_GAIN, &hasRGB_ANALOG_GAIN)); ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_R_GAIN, &hasRGB_R_GAIN));ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_G_GAIN, &hasRGB_G_GAIN));ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_B_GAIN, &hasRGB_B_GAIN));ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_EXPOSURE_TIME, &hasRGB_EXPOSURE_TIME));if (hasRGB_ANALOG_GAIN){ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_ANALOG_GAIN, 1));//設置RGB模擬增益[0，3]}if (hasRGB_R_GAIN){ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_R_GAIN, 32));//設置RGB數字增益R通道[0,255]}if (hasRGB_G_GAIN){ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_G_GAIN, 20));//設置RGB數字增益G通道[0,255]}if (hasRGB_B_GAIN){ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_B_GAIN, 32));//設置RGB數字增益B通道[0,255]}if (hasRGB_EXPOSURE_TIME){ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_EXPOSURE_TIME, 200));//設置RGB曝光時間【3，1088】}
【解決措施2】：
?? 程序里設置AutonISP功能，具體操作如下：
?? 1.首先初始化
TY_ISP_HANDLE hColorIspHandle = NULL;
?? 2.在調用RGB組件時，調用軟ISP功能
///try to enable color cameraif(allComps & TY_COMPONENT_RGB_CAM && color){LOGD("Has RGB camera, open RGB cam");ASSERT_OK( TYEnableComponents(hDevice, TY_COMPONENT_RGB_CAM) );//create a isp handle to convert raw image(color bayer format) to rgb imageASSERT_OK(TYISPCreate(&hColorIspHandle));//Init code can be modified in common.hpp//NOTE: Should set RGB image format & size before init ISPASSERT_OK(ColorIspInitSetting(hColorIspHandle, hDevice));//You can call follow function to show color isp supported features
#if 0ColorIspShowSupportedFeatures(hColorIspHandle);
#endif//You can turn on auto exposure function as follow ,but frame rate may reduce .//Device may be casually stucked 1~2 seconds while software is trying to adjust device exposure time value
#if 0ASSERT_OK(ColorIspInitAutoExposure(hColorIspHandle, hDevice));
#endif}
?? 3.最后在關閉相機取流時，釋放接口
ASSERT_OK( TYStopCapture(hDevice) );ASSERT_OK( TYCloseDevice(hDevice));ASSERT_OK( TYCloseInterface(hIface) );ASSERT_OK(TYISPRelease(&hColorIspHandle));ASSERT_OK( TYDeinitLib() );
2.4 FM851-E2相機成像質量差
【問題描述】：
?? 相機在拍攝下面金屬托盤時，點云缺失嚴重，無法通過調整參數，形成較好的圖像。
【排查過程】：
1.首先排查現場環境：
?? 是否有側窗或者頂部有陽光斜射，如FM851-E2相機，由于激光波段是830nm的，在有環境光干擾的工作環境下，信噪比不夠，造成成像欠佳。
【解決措施】：
?? 1.前期方案評估時，盡量考慮到現場環境對相機的影響
?? 2.如果相機已經在現場使用，先適當降低相機IR的AnalogGain參數和Gain參數，查看成像是否會好一些，如仍無法解決，考慮用FM855-E2-7平替。
2.現場材質因素：
?? 1. 確認現場材質是否有黑色托盤等低反射率材質，此時調整相機參數，在2m以外，很難拿到比較好的成像；
??2. 而如果是高反金屬，此時需要適當降低激光亮度降低曝光、增益和模擬增益。
【解決措施】：
?? 黑色托盤屬于低反材質，FM851-E2無法勝任此場景，建議切換成FM854-E1和FM855-E1，如現場結構和線纜不允許更換，建議使用FM855-E2-7相機。
3.相機參數設置不合理：
?? 如果需要查看散斑相機的IR圖，首先需要關閉light Source里面的auto ctrl屬性，之后再打開左右相機IR圖查看散斑信息，是否過曝，過亮，詳細操作如下圖：
?? 注意：跟深度圖相關的有IR Gain、IR AnalogGain和IR ExposureTime這三個參數可調，建議調節順序為IR ExposureTime->IR AnalogGain->IR Gain。
?? IR AnalogGain屬性是對相機模擬信號進行放大，不建議設置過大，過大圖像容易產生噪點。
【解決措施】：
?? 1.如調試參數不能得到一張比較好的深度圖，建議聯系圖漾技術。
4.相機標定失效
?? 由于運輸過程或者其他因素，造成相機碰撞，或者相機散熱未做好，導致相機散斑圖出現模糊，從而使深度圖成像較差，具體有以下兩種方式去排查
??方法一：按照如下圖所示操作，查看相機左右IR，同一個亮點，是否在同一水平線上。
??方法二：按照方法一的操作，可查看IR散斑是否有粘連或者模糊的情況，具體如下圖：
?? 左IR圖的中心偏右下方比正常的模組要模糊一些。
【解決措施】：
?? 1.遇到此種情況，聯系圖漾技術確認后，需要返廠維修。
5.相機激光器損壞
?? 需要相機打開取流，之后打開相機，若此處的散斑投射器沒有發光，如未發光表示已損壞(可用安卓手機對著相機拍攝，看是否有激光閃爍)，若損壞則需要寄回維修，更換激光器。
【解決措施】：
?? 1.遇到此種情況，聯系圖漾技術確認相機激光器損壞后后，需要返廠維修。
6.工作環境(主要是溫度和濕度)
?? 情況1：如果在冷庫或者偏北方的區域使用，有時候出現相機開機時正常，但工作一陣子后，深度圖變差，查看此時IR圖散斑圖，呈模糊狀，靜止或者拆下來一會后，相機又成像正常；
?? 情況2：而如果頻繁在冷庫和室溫環境來回切換，相機鏡頭表面有凝露，擦拭水珠后，成像又恢復正常。
?? 情況3：相機在俄羅斯或者北方區域工作時，工作環境在0度以下，剛開始工作的時候，出現深度圖比較差的情況，工作一陣子后，深度圖逐漸正常。
【解決措施】：
?? 1.首先需要排除現場環境的干擾，之后排查是否有問題4和5現象。排查后如未發現問題，請聯系圖漾技術。
7.相機安裝高度角度
?? 根據實測數據，叉臂長度在 1.2 米之下時，安裝高度在 0.35 米-0.45米左右；叉臂長度大于 1.2 米時，安裝高度在在 0.45 米-0.8米左右。以上數據根據經驗得出結論，不同的叉車會有差異。
?? 相機與上表面的傾斜角度不建議操作30度，角度較大，容易對相機的立體匹配算法產生影響，同時對圖像對齊會有些許影響，進而影響識別率。
【解決措施】：
?? 1.設計安裝機構時，角度盡可能可調。
?? 2.在相機工作范圍內，如果傾斜角度較小，此時識別率較低，建議適當拉開相機與托盤的拍照距離。
8.相機工作距離偏遠或者偏近
?? 1.如在4m外拍攝藍色托盤，托盤上邊沿壁厚在20mm左右，此時托盤上邊沿已經處于斷裂狀態。
?? 2.測試過程中在700mm以內拍攝物體，屬于相機工作盲區，無法成像。
?? 3.相機的工作區間是在90%反射率下得出的。如果拍攝黑托盤等低反物體，盡量壓縮工作區間。
3.M854-E1相機
3.1 FM854-E1適用場景
?? 適用材質：木質、普通藍色塑料和黑色托盤(2m內對黑色托盤成像較好)，帶反光柱的場景。
?? 特點：波段940nm，抗光性較強，適合室內，半室外等場景。
3.2 FM854-E1 IO線和數據線定義
3.2.1 IO接口定義
3.2.2 數據接口線
?? 相機數據線如下圖：
3.2.3 相機正面安裝方向
?? FM854-E1正面方向如下：
3.2.4 相機IO指示燈
?? FM854-E1相機狀態指示燈如下圖所示：
?? 相機出現問題后，可先通過相機指示燈判斷相機狀態，如ETH指示燈不亮，表明相機與控制器鏈接為百兆網，可以查看網線是否損壞或者兩端連接口是否牢固。
4.M855-E1相機
4.1FM855-E1適用場景
?? 適用材質：復雜場景下的棧板識別，比如室內有陽光斜射，有天窗，高反材質，黑色托盤等等。
?? 特點：波段940nm，抗光性較強。
4.2 FM851-E1 IO線和數據線定義
4.2.1 IO接口定義
??FM854-E1相機狀態指示燈如下圖所示：
4.2.2 數據接口線
?? FM855-E1相機，網路數據線如下圖所示：
?? 如果相機在動態場景中使用，建議使用高柔線，非高柔線容易引發掉線問題。
4.2.3 相機正面安裝方向
?? FM855-E1相機的安裝方向，有以下方式判斷：
4.2.4 相機IO指示燈
?? FM855-E1相機狀態指示燈如下圖所示：
4.3 FM855-E1 成像問題
4.3.1 黑色托盤成像差
?? 此時需要查看散斑相機的IR圖，首先需要關閉light Source里面的auto ctrl屬性，之后再打開左右相機IR圖查看散斑信息，是否過曝，過亮，詳細操作如下圖：
?? 建議先將analog gain調整至1至2，之后調整gain至20~32區間，調整完畢后再打開深度圖取流，觀察深度圖成像。
4.3.2 點云噪點多
?? 搭配圖漾PercipioViewer2.6.1軟件時，FFM855-E1相機自帶的SGBM屬性會被隱藏，打開SGBM參數如下圖:
5.TM26X之dTOF避障相機
5.1 TM262/TM265產品介紹
?? 特點：機身小巧易集成，適用于客流計、立體避障【TM262】和叉尖避障【TM265】等應用。
?? 不適用場景：場景中有發光柱、識別3m外5cm以下黑色低反材質。
5.2 TM262-E1/TM265-E1 IO線和數據線定義
5.2.1 IO接口定義
??相機的IO線定義如下:
5.2.2 數據接口線
??TM262/TM265相機數據鏈路連接如下圖：
5.2.3 TM262相機正面安裝方向
??TM262相機正面安裝方向如下，黃色標簽在上：
5.2.4 TM265相機正面安裝方向
??TM265相機正面安裝方向如下：
5.2.5 相機IO指示燈
??TM26X相機的狀態指示燈如下圖：
?? 如遇到相機狀態指示燈不亮，請仔細檢查相機硬件連接是否正常，供電是否正常。
5.3 TM26X成像問題
5.3.1多臺相機同時使用產生異常點云
??TM26X相機拍攝遠方物體時，總是有莫名噪點產生，如下圖所示：
【解決措施】：
??開啟相機Depth Stream數據流中的 tof anti-interference功能，開啟后實際效果如下圖：
5.3.2 倒車過程中，叉尖相機誤避障
###【問題描述】：
??TM26X插尖相機，在倒車過程中，偶發出現誤避障問題。
###【排查過程】:
??通過保存的點云，觀察如下圖所示：
###【原因分析】:
??當托盤超出叉臂一部分，同時貨物又超出叉臂一部分，叉尖相機只能看到托盤下表面和貨物下表面，托盤上下表面有一個傾斜角，相機打出去的激光，打到托盤下表面和貨物下表面，有反射的光線打到地面，又再次進入相機，在兩者各超托間隙形成類似“拉絲”現象。
【解決措施】
??比如之前設置的600，可適當改為1104/1105，可解決大部分“拉絲”現象。
??注意1：末尾數值越大，近處濾波倍率越大，末尾數值是9，過濾倍率最大，但容易丟失小目標物體。
??注意2：使用此功能，需要TM262相機固件在1.2.21以上版本，TM265相機固件在1.0.28版本以上。
6.TM421之iTOF相機
6.1 TM421 工作場景
??材質：木質、藍色等標準托盤，適合在室內，半室外等工作場景
??不適宜場景：相機貼地安裝，附近有高反物體(如反光柱)，金屬料卷等場景，如需要拍攝黑色材質，建議在2m以內，同時聯系圖漾技術更改相機寄存器配置。
6.2 TM421 IO線和數據線定義
6.2.1 IO接口定義
??TM421相機的IO引腳定義如下：
6.2.2 數據接口線
??TM421相機數據線如下圖：
6.2.3 TM421相機正面安裝方向
??TM421相機正面安裝方向如下：
6.2.4 相機IO指示燈
??TM421相機的狀態指示燈如下圖：
6.3 TM421成像問題
6.3.1 附近有反光柱造成成像異常
??如下圖實際場景所示，托盤附近有反光柱，造成點云異常。
?? 而實際成像點云圖異常，如下圖所示：
###【原因解釋】：
?? 打開相機IR Stram數據流，會發現反光柱附近周邊像素都很亮，造成光污染，從而引起反光柱附近的點云異常。
###【緩解措施】：
?? 首先降低IR Stream數據流，降低曝光時間，之后調整Depth Stream數據流，調整filter Threshold 數值在50~100之間。
6.3.2托盤上有高低反材質
?? 托盤上有高低反二維碼，實際場景如下圖：
?? 實際成像點云圖，如下圖所示：
【原因解釋】：
?? 打開相機IR Stram數據流，會發現二維碼附近周邊像素都很亮，造成光污染，從而引起二維碼附近的點云異常。
【緩解措施】：
?? 首先降低IR Stream數據流，降低曝光時間，之后調整Depth Stream數據流，將 depth quality模式改為high模式。
6.3.3 相機貼地安裝/高亮地面等造成成像異常
?? 實際成像點云圖如下圖所示：
【原因解釋】：
?? TOF相機由于地面串擾，會在高亮地面，靠近托盤處有點云鏡像，建議把TOF相機放置在距離地面30cm公分以上，如需要貼地安裝，建議使用雙目散斑相機。
【緩解措施】：
?? 首先降低IR Stream數據流，降低曝光時間，之后調整Depth Stream數據流，調整filter Threshold 數值在50~100之間。
6.3.4拍攝高反料卷
?? 拍攝高反圓柱料卷，會發現點云非圓柱狀: 
?? 用iTOF相機拍攝，會發現點云如下圖：
7.圖漾相機共性操作
7.1 保存圖像
?? 圖漾相機保存圖像，可以打開如下鏈接，查看具體操作。
??圖漾相機保存圖像操作
7.2 圖漾相機常見錯誤碼及解決措施
?? 圖漾官網給出了常見錯誤碼及解決措施，具體可打開如下鏈接：
?? 圖漾官網提供的錯誤碼
?? 其他錯誤碼解析，可打開如下鏈接：
?? 個人整理的圖漾錯誤碼
7.3 圖漾相機如何計算視野？
7.4 相機是否支持ISP功能？
?? 若圖像輸出YUYV格式，則相機帶有硬件ISP模塊。
?? 若圖像輸出BAYER8GB格式，則相機需要使用AutoIsp功能
7.5圖漾相機如何保存參數？
?? 1.首先下載圖漾PercipioViewer2.6.1看圖軟件
?? 2.正常給相機連接后，打開目標相機
?? 3.根據實際情況調整相機屬性，以達到最佳效果。
?? 4.在設置完相機參數后，關閉所有相機取流。
?? 5.點擊菜單欄 Tools > Parameters，進入 Camera parameters configuration 頁面。
?? 詳細操作如下面鏈接所示：
?? 圖漾相機保存數據操作
)
