[论文解读] TensorFlow with user friendly Graphical Framework for object detection API

Heemoon Yoon, Sanghee Lee+1 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Neural Network Applications被引用 4

一句话总结

本文介紹了TensorFlow圖形框架（TF-GraF），這是一種適用於TensorFlow物件偵測API的使用者友善圖形使用者介面（GUI），讓使用者無需撰寫程式碼或使用命令列介面，即可執行資料預處理、模型訓練、評估與推論。透過提供視覺化、互動式的環境，並支援多種模型（如SSD、Faster R-CNN等）與即時監控，TF-GraF降低了非深度學習專家的入門門檻，同時自動管理複雜的設定。

ABSTRACT

TensorFlow is an open-source framework for deep learning dataflow and contains application programming interfaces (APIs) of voice analysis, natural language process, and computer vision. Especially, TensorFlow object detection API in computer vision field has been widely applied to technologies of agriculture, engineering, and medicine but barriers to entry of the framework usage is still high through command-line interface (CLI) and code for amateurs and beginners of information technology (IT) field. Therefore, this is aim to develop an user friendly Graphical Framework for object detection API on TensorFlow which is called TensorFlow Graphical Framework (TF-GraF). The TF-GraF provides independent virtual environments according to user accounts in server-side, additionally, execution of data preprocessing, training, and evaluation without CLI in client-side. Furthermore, hyperparameter setting, real-time observation of training process, object visualization of test images, and metrics evaluations of test data can also be operated via TF-GraF. Especially, TF-GraF supports flexible model selection of SSD, Faster-RCNN, RFCN, and Mask-RCNN including convolutional neural networks (inceptions and ResNets) through GUI environment. Consequently, TF-GraF allows anyone, even without any previous knowledge of deep learning frameworks, to design, train and deploy machine intelligence models without coding. Since TF-GraF takes care of setting and configuration, it allows anyone to use deep learning technology for their project without spending time to install complex software and environment.

研究动机与目标

• 降低非專家與IT初學者使用TensorFlow物件偵測API的高門檻。
• 消除對命令列介面與手動程式碼設定的依賴，以進行模型訓練與推論。
• 在伺服器端為每位使用者提供安全、隔離的虛擬環境，以支援協作與可擴展的使用。
• 透過視覺化介面支援彈性模型選擇，包括SSD、Faster R-CNN、RFCN與Mask R-CNN。
• 在無需撰寫程式碼的情況下，支援即時監控訓練過程、視覺化物件偵測結果與評估指標。

提出的方法

• 設計基於Web的圖形介面，託管於伺服器上，用以管理使用者帳戶與隔離的虛擬環境。
• 實作後端服務，以處理資料預處理、模型訓練與評估工作流程，無需命令列互動。
• 整合TensorFlow物件偵測API與GUI驅動的流程，以進行超參數設定與模型選擇。
• 在模型訓練期間支援即時訓練損失與偵測結果的視覺化。
• 透過GUI中的下拉式選單，支援多種深度學習架構（例如Inception、ResNet）的選擇。
• 自動化環境設定與相依性管理，以消除本地安裝的複雜性。

实验结果

研究问题

• RQ1 圖形介面如何降低非專家使用者使用TensorFlow物件偵測API的學習曲線？
• RQ2 在無程式碼的情況下，支援端到端物件偵測工作流程的GUI，其必要功能為何？
• RQ3 伺服器端的虛擬環境機制是否能確保多使用者使用的安全性與可擴展性？
• RQ4 以GUI為基礎的方法在支援訓練與推論過程的即時監控與視覺化方面有多麼有效？
• RQ5 GUI方法在多大程度上可取代命令列工作流程，用於物件偵測模型的訓練與評估？

主要发现

• TF-GraF成功讓使用者完全透過GUI執行資料預處理、模型訓練與評估，無需使用命令列操作。
• 該框架支援多種最新的模型，包括SSD、Faster R-CNN、RFCN與Mask R-CNN，並可透過介面調整超參數。
• GUI原生支援即時訓練監控與測試影像上偵測物件的視覺化。
• 系統自動管理複雜的環境設定，讓使用者能專注於模型設計與實驗。
• TF-GraF的程式碼庫已公開釋出，促進可及性與社群採用。
• 無深度學習經驗的使用者現在可無需撰寫程式碼，即可部署與實驗物件偵測模型。