(桃園開放資料創新應用組)第二名-視障者行動輔助系統(國立交通大學)
:::活動名稱
105年度全國大專校院資訊應用服務創新競賽
詳細內容
一、 前言
隨著時代變遷，台灣已邁入高齡化社會，即將進入高齡社會，長期照護的議題也逐漸受到社會各界的關助，此外人權意識的建立也使人們逐漸重視弱勢族群的人權及福利發展。不過現階段對於弱勢族群的照護以及協助，仍是不夠充足以及完備，這是一個亟待改善的問題。在弱勢族群中，我們以視障者為目標，試圖去了解其困難以及需要的協助，經過實際訪談後，發現在台灣的生活環境中，視障者仍然面臨著以下幾點困境：
? 無法對路況有即時的掌握，經過易肇事路段身陷危險卻渾然不知。
? 身邊通常需要人力，若獨自行動時需要即時人為協助，常求助無門。
? 身處吵雜環境，手機語音輔助功能不易使用。
? 台灣目前導盲犬與視障者比例為1:1250，遠低於理想比例1:100。
因此我們決定與產學合作單位進行產學合作並結合手勢辨識，由產學合作單位提供專員遠端服務及搭配手機提醒，讓視障者擁有安全美好的出遊體驗。同時運用桃園開放資料，結合市民服務與社福資訊，開發視障者友善資訊平台，使視障族群能享有便捷、安全的生活，並希望能將此概念推廣至其他弱勢族群，幫助更多需要幫助的人們。
二、 創意描述
有別於市場上現有常見APP，未有一個能為視障者族群進行即時服務來開發設計的手機應用程式。我們產學合作單位共同製作出一個讓視障者與其他弱勢族群能夠互利的平台，其他人可以藉由此平台，成為專員，為視障者即時服務來完成生活周遭即時且迫切的問題，例如辨識使用者傳回的相片內容，或是以視訊來指引視障者避開身邊的危險。此外，我們亦利用手勢辨識來為視障者，製造出更多的運用可能性，利用在空中書寫出指令，即可開啟各式服務，結合桃園政府開放資料，提供市內可以使用地點報讀、手機支付、危險告知等功能，讓使用者更方便的使用。
? 使用新型手勢操控技術，利用手勢開啟APP及空中簽名並加密
? 即時配對媒合專員，利用WebRTC讓專員與視障者即時視訊解決問題
? 以手勢開啟地點報讀功能，告知其現在地點
? 當使用者到危險路段時，發出通知提醒其注意安全
? 使用深度學習，辨識使用者上傳之照片並告知其結果
? 口述影像導覽，讓使用者能夠更理解周遭環境
三、 系統功能簡介
? 危險路段提醒：將桃園市政府公開資料之地段地址轉換成GPS訊號，使用者方圓300公尺內之施工中路段或是易肇事路段都將觸發危險路段提醒報讀，避免使用者在移動時陷入困境。
? 手勢開啟APP：藉由設定簡單的手勢動作，讓使用者不再需要花時間尋找APP的位置，只需要為各APP設定專屬且簡單的手勢動作去觸發，即可開啟相對應的APP。
? 專員視訊：當使用者需要即時且急迫性的需求時，可以開啟視訊功能，藉由伺服器進行最佳配適度媒合運算，為其找到最適合的專員，並且進行即時視訊對話，讓專員藉由行動裝置的鏡頭了解使用者所在環境，輔助其解決各式疑難雜症。
? 專員照片辨識：使用者若有生活中辨識困難之物品、路標......等等，可以將圖片拍照後上傳至雲端資料庫排隊等待專員辨識，專員辨識結果會回傳到雲端資料庫進行數據處理，完成後使用者手持裝置可以得到答覆。
? 景點口述導覽：為讓使用者能夠體驗到地方景點的人文風情，以聲音描述的觀光影片，來為視障進行景點導覽，讓景點的特色能夠更完整的詮釋給視障者。
? 手寫簽名結帳：透過智慧型手機設定專屬使用者的簽名手勢，在結帳、轉帳等高保密性的行為，大大降低被第三者竊盜密碼的可能性，增加支付安全。
四、 系統特色
? 手勢即可進行操作
有別於傳統的點擊、滑動來操作行動裝置，可以透過手勢、動作與電子產品互動，取代，達到減少操作電子產品時必須學習操作介面或輸入裝置所花費的時間之效果。以視障者來說更是重要，點擊對其來說難以運用，利用手勢來進行操作，能減少其花時間找按鍵的困擾。
? 辨識物件的應用
視障者在尋找物品時，無法快速的掃視環境，找到物品所需的時間較長，因此希望建立以鏡頭為礎的系統來幫助視障者。也可以藉此系統，來替視障者閱讀文字，或報讀出路標上的內容，以另種角度向視障者詮釋環境。或是在視障者購物時也可使用此服務知道商品品項與價格， 提高個人生活的獨立性。
? WebRTC跨平台視訊對話
在發生緊急狀況下，視障者亟需協助時，利用手機裝置4G網路之便利性進行即時的提示或輔導，第一時間幫助視障者解決生活中面臨之困境，實踐「路見不平，拔刀相助」的及時幫助。利用手機裝置4G網路之便利性進行即時的提示或輔導，第一時間幫助視障者解決生活中面臨之困境，實踐「路見不平，拔刀相助」
? 更安全的支付方式
視障者在支付時，常常會無法確認手上鈔票或是零錢面額，鑒於這種情形，讓使用者可以使用手勢來進行支付過程。更重要的是在支付時，藉由自己獨特的簽名手勢來付款，可以讓支付的安全性有更好的保障，可以避免被他人盜刷的機會。而且經過實驗我們證明我們自行開發的手勢辨識App比起市場現有的AirSig表現更為優異，在不同持有角度的狀況下與行進間的表現都比AirSig更為精準與穩定。
五、 系統開發工具與技術
? Xcode：開發人員使用的整合性開發環境，來進行以iphone為主要平台的ios系統App開發，使用的語言是最新釋出的Swift3。
? Django：一個開發迅速容易上手的應用程式框架，伺服器維護平台也比傳統php框架容，使用程式語言為Python。
? Android：基於Linux核心的開放行動作業系統，為現行在行動裝置上最大佔有率的作業系統
? WebRTC: 網頁即時通訊，支援網頁瀏覽器進行即時語音對話或影片對話的API
? Deep Learning:動機在於建立、模擬人腦進行分析學習的神經網絡。其模仿人腦的機制，以多節點、分層的運算分析特徵並解釋數據。藉由其深度卷積神經網路，對圖片進行辨認與分類，讓使用者方能得知辨識的物體為何。
? Dynamic Time Warping:其基於動態規劃匹配兩個時間序列與時間動態，進而給出用於計算兩個時間樣本之間距離的函數，在兩個動作中找出最匹配的軌跡。在本App中使用其來判斷輸入的指令與簽名是否相符。
? Stable marriage Optimization Algorithm:此為用來媒合配對用戶與專員的演算法，依據每個使用者的條件或是特殊需求，選出最適合的專員，憑此與其配對進行即時對話，能提供使用者最恰當的方式解決問題。
六、 系統使用對象
本系統針對下列使用對象：
? 視障族群：視障者可使用本系統得到即時的幫助。
? 弱勢族群：增加弱勢族群就業，擔任專員服務協助視障者。
? 外國人士：無法理解中文的外國人士可使用本系統進行拍照辨識、提醒危險路段。
七、 系統使用環境
? 身處吵雜環境，當語音功能無法使用，可使用手勢開啟app。
? 身處於危險車多路段，系統會主動提醒使用者。
? 使用者有需求時皆可視訊或拍照請求專員協助。
? 到達著名觀光景點，使用者可選擇開啟觀光口述影像。
? 於商店刷卡結帳，使用手勢辨識簽名完成付款。
八、 結語
InstaEye可以提供使用者危險道路提醒、專人視訊與拍照服務、景點口述導覽、結帳手勢辨識簽名等功能，讓視障者能夠擁有更安全便利的生活，獲得更貼近需求的即時服務。同時，藉由與產學合作單位的產學合作，在服務專員方面增加就業機會。除此之外，InstaEye能夠增加桃園市的市民服務，打造一個友善視障者的資訊平台。
未來，我們希望能將規模擴大到其他縣市，結合並收集更多的資料，讓服務更加完備並擴展更多面向，能夠從更多角度去協助使用者。另外將此服務擴展至長期照護，提高個人的自主性，減輕社會負擔進而減少社會問題。我們的服務也將不僅止於社會關懷以及照護用途，未來可結合更多台灣知名景點，建立一整套完善的服務，面對不黯中文的外國遊客，協助其進行觀光導覽，見識臺灣的人文風景之美，讓世界更多人知道台灣的美好。不僅於此亦可結合政府服務協助台灣新住民，加速融入臺灣環境。我們期望透過InstaEye app，不只能協助視障者跨越障礙、揮灑精彩人生，使這個社會中的技術物革新，真正帶給所有族群一個更好的生活。
