房產實時AI視覺異常缺陷檢測模型

2023/07/03

﻿﻿引言對於視覺缺陷檢測，傳統的AI模型需要針對每種類型的缺陷進行訓練。然而，我們的目標是使用一種替代方法：“Deep Few-shot Anomaly Detection with Deviation Networks”。該方法通過對“正常場景”進行訓練，可以檢測出所有異常情況。
在比较"AI abnormal detection"與一般的"AI defect detection or classification"模型時，前者在許多方面具有獨特的優勢。以下是有關這兩者差異的詳細描述：
AI defect detection or classification常見的AI缺陷檢測或分類模型通常針對特定類型的缺陷進行訓練和分類，例如檢測產品表面的裂紋、劃痕或其他視覺缺陷。這些模型在數據集中的每種缺陷類型都需要大量樣本進行訓練，以便能夠識別和分類這些特定的問題。這種模型的工作方式是將輸入圖像與每個預定義類別進行比較，然後將其歸類到最有可能的類別中。
AI abnormal detection
Image source: https://arxiv.org/pdf/2108.00462.pdf
與傳統的"AI defect detection or classification"模型相比，"AI abnormal detection"模型具有以下優勢：
1. 全面性和通用性"AI異常檢測"模型不僅關注特定類型的缺陷，而且專注於識別任何異常情況，即使是以前未見過的情況。這意味著它可以在不事先知道所有可能異常類型的情況下進行工作，從而具有更大的通用性和全面性。
2. 少樣本學習通常情況下，建立一個能夠區分多種缺陷類型的分類模型需要大量的訓練數據。但是，"AI異常檢測"模型可以採用少量的正常樣本進行訓練，因為它的目標是在正常場景下訓練，從而能夠檢測出任何與正常情況不符的異常。
3. 新型缺陷的檢測在現實應用中，新型缺陷可能會隨著時間推移而出現。"AI異常檢測"模型能夠通過檢測與正常情況的偏差來發現這些新型缺陷，而不需要事先具有這些缺陷的訓練樣本。
4. 靈活性和適應性"AI異常檢測"模型能夠適應不同類型的場景和環境，因為它關注的是異常的特徵，而不是特定缺陷的特徵。這使得它在多種領域和應用中都具有廣泛的適用性。
5. 降低誤報率傳統的缺陷分類模型可能會產生誤報，即將正常物體錯誤地分類為缺陷。"AI異常檢測"模型能夠更準確地識別真正的異常情況，從而降低誤報率。
開發流程以下會介紹一個簡單的開發流程，方便大家知道這個模型有什麼技術上的需要：
1) 收集一些正常牆壁的照片用於模型訓練，同時收集一些有缺陷的照片（如破裂的牆壁、滲漏的牆壁）用於負樣本的訓練和測試。
Normal wall images.
Crack image and water leakage image.

2) 創建一個Python程式來對收集的數據進行訓練和測試，並構建訓練好的模型。


3) 由於建議的模型是基於PyTorch 定義的，我們希望能夠在移動應用上實現實時運行。一般如果要在embedded platform，例如mobile phone 上運行Deep learning AI，Tensorflow 的架構會好一些。 因此，我們將訓練好的模型重構為 TensorFlow Lite格式。
訓練好的模型需要先轉換為 ONNX，然後再轉換為 Tensorflow-lite.

4) 為了在移動應用上展示和展示模型，將TensorFlow Lite模型集成到Google開源應用程式“Mediapipe框架”中（https://developers.google.com/mediapipe）。這樣，就可以通過移動攝像頭實時推斷牆壁的異常情況。

Mediapipe框架的集成
Mediapipe是一個強大的開源框架，專門用於構建實時多媒體處理應用程序。我們將Mediapipe框架用於整合TensorFlow Lite模型，以便從移動攝像頭捕獲圖像並進行實時推斷。該框架提供了一系列預構建的視覺處理組件，可用於姿勢估計、人臉檢測等任務。我們在這裡使用它來進行牆壁異常情況的檢測。
結果展示
以下是一些展示結果的圖片：
     
相機取景器可以實時檢測缺陷問題。
結論這種模型和應用在房屋建設和房產檢查過程中有諸多好處，特別是在將其整合到機器人或無人機進行定期例行檢查時。一些優勢包括：
- 節省時間和成本：傳統的缺陷檢測方法可能需要大量的人力和時間，而這個模型和應用可以在短時間內完成大量的檢測工作。
- 提高準確性：由於模型是在正常場景下訓練的，它可以更準確地檢測出異常情況，從而避免漏報或誤報。

- 無人值守檢測：通過整合到機器人或無人機中，可以實現定期的自動檢查，無需人工干預，從而及時發現和修復問題。

- 實時監測：通過移動應用實時監測，用戶可以隨時了解房產的狀態，及時採取行動。
總之，這個基於實時AI視覺異常缺陷檢測模型的移動應用在房產建設和檢查過程中具有巨大的潛力，為行業帶來了革命性的改變。