在電廠作業過程中，由于一些誤操作或者行為不規范造成的人員傷亡事故還是比較多的，種類包括高處墜落、觸電、機械傷害等等。其實這些事故往往我們是能夠提前預防或者報警的。我們針對這些誤操作，以人臉識別、行為分析、智能判斷、違章報警為理念，開發了一套應用于電廠的施工操作，滿足安全管理需求的行為安全智能識別分析系統。

——羅普特科技集團股份有限公司總裁、北京華電羅普特科技有限公司董事 江文濤

2019年8月22日，由中國能源研究會節能減排中心聯合華北電力大學國家大學科技園共同舉辦的“2019年智慧電廠論壇（第二期）”在北京召開。主旨報告環節，羅普特科技集團股份有限公司總裁、北京華電羅普特科技有限公司董事 江文濤作了題為“電力行業行為安全智能識別分析系統”的報告。北極星電力網對本次會議進行全程直播。直播會議合作，請聯系手機/微信：13693626116。

我今天給大家介紹的這個主題是電力行業安全管控的系統，《電力行業行為安全智能識別分析系統》。

我的介紹主要分為以下五個部分：

首先給大家摘取了一個圖片，這個是《國家能源局電力安全監管司2018年電力事故分析報告》。可以看到，在電廠作業過程中，由于一些誤操作或者一些行為的不規范所造成的人員傷亡事故還是比較多的，種類包括高處墜落、觸電、機械傷害等等，其實這些事故往往我們是能夠提前預防或者報警的。當然我們做的這套系統，雖然不能直接對電力行業經濟效益產生提升，但是安全事故對于電廠的施工作業來講也是非常非常關鍵的。

在這種情況下，我們公司通過多方面的調查研究，針對這些誤操作，以人臉識別、行為分析、智能判斷、違章報警為理念，開發了一套應用于電廠的施工操作，滿足安全管理需求的行為安全智能識別分析系統。這個系統就是將人工智能的識別技術和視頻分析相結合，以智能化提升對電力設備及生產人員安全監督管理。

我們的系統有三個特點：

1，自動化、全面性。原來在電力安全施工監管的時候有很多人為監管的方式，但是很難做到24小時全方面的檢測，但是通過這套系統可以實現24小時自動化全方面的檢測。

2，信息及時、有效。因為是基于智能識別的算法，所以所識別到的一些信息能夠及時有效快速地進行傳遞。

3，簡單、易操作。因為原有的系統，一些安全管理系統很復雜，包括一些安保人員在操作的時候需要有專業的培訓。但是我們這套系統操作非常簡單，能夠很智能的給安保人員、管控人員進行提示。

在介紹系統之前我想給大家先簡單的介紹應用在這個系統里面的幾個技術：

1，圖像拼接技術。我相信很多電廠人員都知道，視頻圖像的監測其實都有一個方向性，現在的指揮中心里面密密麻麻的攝像頭可以看到的圖像，但是往往一些有用的信息，包括一些報警的信息會容易讓人疏忽。我們把這些圖像進行有機的整合，就實現了右上角我們講360度的圖像拼接，能夠做到真正無死角的監控，這是我們在電廠的安全監控上一個核心的技術。

2，視頻結構化分析技術。我們的攝像頭在采集一段視頻以后，往往需要用人的眼睛和大腦去分析它，找到我們想要的信息。但是現在有一種技術叫視頻的結構化分析。比如這個視頻里，在移動的大量車輛、人員，我想在某一時間點找到一輛白色的寶馬車，原來的做法就是要把錄像倒回來不斷看，現在可以把這些視頻非常清晰的把一些數據進行結構化的處理，比如說車牌、車型、車的顏色、人臉的特征、穿的衣服的顏色、人的大概身高等等。有了這些結構化數據以后，想要識別、想要尋找這些特有的特征，只要把你想要的東西輸進去，就能夠快速的檢索出來，目前在視頻圖像的探索里面應該屬于一個比較成熟的技術。

3，姿態識別技術。人臉識別應該屬于現在比較流行的一個技術了，人臉識別在電廠里應用也非常廣泛，但是為了能夠識別我們的操作是不是合規的、是不是按照規范的操作來做的，我們需要引入姿態識別技術。我現在給大家展示的就是，采集過程中人的行動動作包括標準化，用這個技術就是針對于我們的操作能夠規范，你的幅度，包括你的強度怎么樣，都能夠進行一定的識別。

4，人臉抓拍技術。可能很多人用過人臉門禁，其實目前人臉識別的技術已經發展到了，可以在一秒鐘大量的人流過來能夠抓拍出300張人臉，效率非常非常高。在這個情況下，電廠在上下班高峰期的時候，能夠實現對于人員的管控，包括移動，包括你是否是我們電廠的工作人員，能夠進行精確的識別。

5，三維建模與視頻融合技術。當然三維建模跟電廠里面針對機械化的施工操作是不太一樣的，我們這個主要是管安全的，可以把整個電廠的區域布置圖和我們電廠里面所要關注的安全信息進行疊加，比如說電廠哪里有消防拴、哪些有值班室，值班室里有沒有我們的安保人員，這些信息能夠在三維建模的地圖上進行疊加，而且能夠實現虛擬和現實相互融合。可以看這個視頻里面，中間這幅圖其實是一個十字路口，七八個攝像頭組成，我們用視頻拼接、三維建模與視頻融合技術，能夠清晰的展現我們所要監控的區域的實際情況。

這幾個技術在這個項目里可能會用到，先給大家做一個介紹。

我們這個系統架構其實非常簡單，主要是能夠對于電廠在人員進出、車輛進出，包括電廠里面的智能識別的一些應用。在我們頂層的感知層有很多采集的設備，包括我們的攝像機、門禁，包括我們的無人機的采集設備等等。在信息的傳輸層，我們可以利用我們電廠里面原有的光纖、無線網絡，包括用我們電力專用的傳輸網絡。在智能算法層，我們是根據不同的需求開發出不同的識別模塊，比如說安全帽的檢測，包括著裝的識別檢測，我們可以根據需求不斷的探測出識別模塊。根據我們的業務場景跟專題庫進行對接，比如說我們的人臉識別有哪些用途。最后我們在應用層里面，將這些東西能夠展現出來，能夠實時報警，能夠通過我們講的例題可視化技術、三維疊加技術，能夠很實際的把它展現出來。其實整個系統架構非常非常簡單。

我們目前有開發出來行為分析的模塊，這些行為分析模塊是結合在電廠的實際作業過程中所開發出來的。目前我們是有十類，這里面包含了人臉識別、安全帽的識別、著裝的識別，包括我們在施工過程中有沒有操作規范的識別等等，接下來我給大家介紹一下這些行為識別模塊的一些具體的應用。

1，廠區的人臉識別。我們現在其實在很多的電廠有去調研過，有幾種管理方式，一種是保安站在門口認人，然后進入廠區。還有一種，用打卡，還有一種，用刷卡進入我們的門禁。但是現在用人臉識別技術，對于進出人員進行管控。

首先我們可以針對于電廠所有的工作人員進行一個人員的錄入，包括登記你的身份證號、你的車間、你的崗位等等，這些信息都能夠進行記錄。而且登記能夠直接通過我們人臉識別的攝像機就可以登錄，不用說把所有人員集中叫到一塊照張相，都不需要，只要確認你是我的工作人員、有基本的人員信息就可以實現錄入，而且可以實現增減。我們的訪客陌生人登記的時候也很簡單，直接刷你的身份證，登記完以后你要辦什么事情記錄好以后就可以在廠區里面行走。

二是能夠做到我們的實時關注，比如我們在電廠的管控里面對于某一個人或者某一個崗位的人員，他們經過哪些區域要做實時的監測，你就可以把這些人員的照片包括資料輸入到我們關注的任務里面，當他經過不能夠經過這個區域，就可以實只的報警。

三是人員的檢索。我們有時候也會存在一種情況，比如要知道他整個保安的巡邏路徑，是不是按照我們原來設定的時間點在這里面巡邏，把保安的基本圖片放進去以后，就能夠知道他實時搜索的情況怎么樣。當然有一些安全隱患的時候，我們把一些圖像信息導入進去，也可以對這些人員進行檢索。

四是軌跡的查詢。主要是應用于我們外來的訪客，比如我們外來的訪客可能要進辦公樓，我給他規劃路徑可能就是到辦公樓這邊，但是當他們進入我的操作區域或者操作車間的時候，他就能夠實現報警，而且能夠實時的有圖像彈出，我也能夠利用這個技術，不管車也好、人也好，他移動的軌跡在廠區里面能夠完全精準的掌握。

五是我們做這個系統的時候，除了能夠預防、預警以外，還有一個概念，就是能夠找出我們現在整個廠區里面安全的薄弱點，所以我們有一個廠區可疑人員的統計。比如在某一個區域，可疑人員出現的次數是多少，出現的次數越多，說明這個地方的安保措施比較弱，這也是我們需要加強的區域。當然所有出現的這些可疑人員，我們所有的都會留底，都會有證據，他的視頻圖像都會存儲下來。

六是特定的設計，我們有時候在某一些區域是限時間段，或者說是限區域，不能夠有人員進入的地方，因為某些地方是屬于危險區域，我們能夠設定時間段、設定區域，只要有人員進入、經過，在它的外圍經過的時候，就能夠實現報警。前面有人進入這個區域后端有報警的，然后怎么處理呢？我們在前端可以加上聲、光的設備，有聲音能夠直接進行對話，有我們的警報器，能夠進行提醒，能夠確保我們在一些危險區域是沒有人員進入的。

這些就是我們講的人臉識別的應用。人臉識別的應用剛剛講了那么多，其實對于我們在規范管控上還有很多的作用，比如說我們一個廠區里面有多少人，人員的比例是多少，年齡結構是多少，這些都可以通過這套系統直接的展現。包括分車間的、分區域的人員情況怎么樣，還有關于我們講的人員聚集，比如在廠區里面突然之間一個區域里面同時聚集了200人的時候，也能夠直接的進行報警和提醒。

2，安全帽的識別。這個在我們電廠的作業里面是經常會發現的。比如說有一些叫不戴安全帽，除了不戴安全帽以外還有一個，戴的安全帽顏色不對。我們了解，有的要戴紅色的安全帽、有的要戴藍色的安全帽，跟崗位不一樣決定的。有時候我們這種識別是做不到的，我們可以通過視頻的情況能夠把這些信息采集出來。

3，粉塵區域口罩的識別。我們在電廠的區域里面有很多是高粉塵的一些區域，要求我們的操作人員要戴上口罩，也是為了人身健康的考慮，但是有些我們操作的時候，為了能夠簡單，沒有這種意識，發現很多不戴口罩的情況，我們也能夠通過視頻識別出來。

4，著裝識別。我們電廠操作的時候，有時候要求穿長袖，包括頭發不能露出來，這些基本的要求，如果我們單純靠人員去盯、去提醒，基本上沒有辦法做到，但是我們的視頻圖像能夠覆蓋到、能夠識別出來。

5，特殊區域人證和獨自作業識別。比如我們要開配電柜門的時候，我們要求至少有兩個人在場或者三個人在場，或者我還可以通過人臉技術必須有某一個工程師跟某一個工程師助理一起在場的時候才能開，可以通過視頻檢索的方式把他識別出來。

6，控制值班人員睡覺識別。視頻現在還可以做到，比如保安在站崗的時候，是讓你目視前方，區域范圍大概180度，但是你人在那邊，眼睛一直看后邊的180度的時候，它也能夠識別報警。

7，垂直交叉作業識別。我們在交叉作業的時候經常發現在垂直交叉的時候如果沒有做好保護，普遍會造成一些傷害，我們通過對施工區域的監測、包括腳手架的監測，也能夠提出報警的信息。

8，廠區內流動吸煙識別。在電廠內有很多區域是禁止吸煙的，包括有一些煙火識別的措施是非常高的，我們在廠區內只要看到有煙、火星包括吸煙的行為，也能夠提醒，能夠通過提醒進入人臉抓拍的系統進行登記。

9，窨井孔洞防護欄識別。很多時候我們操作意識不夠強，比如窨井蓋拿起來以后一定要設一個防護圈，但是實施的時候有時候可能為了簡單，不設置防護圈20分鐘就能夠把它蓋上去，這些所有的能夠通過視頻的檢測識別出來。

10，安全帶防護識別。比如左邊這個圖，你戴安全帶，但是沒有上保險扣，這種行為經常也有發生，認為我們高空操作，比如才2.5米、2米，比較矮，這種也能夠做到識別。

這些是我們目前針對于電廠操作里面可能出現的一些問題做的一些識別模塊，當然我們繼續深入我們施工操作中的規范，包括我們在研究，比如說你要去開關某個柜門的時候，他的動作要轉的是180度，但是我們會識別你轉的是不是180度，通過這些也能夠規范操作。我們可以對報警數量進行統計分析，這是非常簡單的動作，有了這些統計分析以后可以在我們的安全教育里面，針對一些重點需要加強的部分進行重點的交流，能夠分配到每天每一個報警類型的統計，都能夠把它統計出來。同時我們的攝像頭其實在整個廠區是遍布很多的，不可能每一個攝像頭所有的功能都執行，這樣運算量太大，所以我們可以對你的報警任務進行設計。比如這個攝像頭下，這條路上正在施工，我主要監測的是交叉的，比如窨井蓋有沒有防護，這個地方主要是識別口罩的，我就設定這些區域主要是識別口罩，等等這些情況我們可以根據你設定的區域攝像頭進行選擇。

有了這些識別以后對于這些內容就要做一個三維立體的防控。我們是把整個廠區大概的區域做三維的仿真，仿真以后能夠實現實際的指揮，比如探測到某個地方有煙霧、有火災的時候，通過攝像頭能夠監測到哪個地方有消防拴、哪個地方有駐扎的保安人員，能夠快速響應，而且能夠實現三維巡檢，包括移動運維、自動報警的功能。

在電廠里面做不需要那么精細，因為只要信息疊加就可以了，是將視頻數據、相關的信息跟電廠的真實三維場景做一些深度的融合，在需要指揮調度的時候能夠知道所有的信息在哪些位置，而且能夠直接的進行調度，能夠達到有效的指揮、管理和運維的目標。

還有一個設備是高空遠距離設備。比如當一個人員經過一個攝像頭下，可能他快速走過了兩三秒鐘，但是我們制高點有一個遠距離的監控攝像頭，可以跟隨你想要探測的軌跡進行全方位的監測，這個攝像頭距離可以從1公里到20公里，有些大型電廠也完全能夠進行覆蓋。AR實際的指揮系統，可以通過立體的指揮，包括信息的整合，包括一些實景地圖、智能分析的功能，將電廠所有的信息在一張圖里面就能夠掌握，解決我們原來在指揮中心密密麻麻的攝像頭，一個人盯30秒眼睛就花了，基本上很多信息都是無效的，這個時候就能夠實現我們講的整個的整合。

在硬件設備這塊，我想也給大家做一下介紹，因為這些很多的，在我們實際的使用過程中都會用到。

第一，我們的的電子門禁圍欄系統，有很多是控制我們的一些禁止進入的區域，包括門禁的控制等等。

第二，視頻監控的設備、人員管控的設備、無線電力巡檢設備。

在視頻監控這塊可能大家了解的非常多，但是目前針對于這些所有的硬件設備我們是有做一些升級的。

第一，把所有的智能分析的軟件模塊全部都嵌入到常規的攝像頭里面。原來的做法是，前端只是把圖像傳回來，后面有服務器進行智能分析。我們目前的做法，所有的攝像頭都具備了這些智能分析的功能。同時，針對于一些特定的場所，我們還設計有防爆的攝像機。

第二，全景監控攝像頭。剛剛介紹到360度的全景監控攝像頭，我們目前也開發出了1200萬像素、1500萬像素跟2400萬像素的三種圖像，整個探測范圍能夠在這個攝像頭安裝區域底下200米范圍大型的區域都可以進行無死角的監控。而且在我們的邊緣地方，因為是做圖像拼接的，也可以做到非常清晰。

第三，遠距離監控設備。這個技術是原來我們應用在邊境防范的場景上，但是后來我們在電廠調度過程中，發現也需要有這種放在制高點，能夠看的更遠，而且夜間也能夠探測的設備，能夠對于一些我們講的行進的軌跡人員進行監測。我們這個設備有一種是云臺型的，還有一種是轉臺型的，白天可見光從1公里到最遠25公里，夜晚從1公里到15公里，都可以能夠探測。

手持熱成像儀。這個應該是普遍的應用，對于我們講的便利設備上面溫度的探測能夠實現它的故障排查，手持式，而且這些信息可以通過無線的傳輸直接回到我們的指揮中心包括巡檢中心，能夠做到電力設備的測溫包括故障的排查。

在巡檢方面用的有三個設備：第一個，設備就是軌道機器人，其實這個比較常見，就是在我們有很多儀表儀器的地方設計好固定軌道，通過軌道的運行監測儀表的數據包括實際狀況。第二個，無人機的電力巡檢，我們不做無人機，我們做的是無人機底下的圖像探測設備。第三個，機器人巡檢，這是我們自己開發的機器人，能夠智能的識別、精準的定位、測溫也準確，而且能夠做到慣性制導。

智能安全帽。可以做到圖像采集、語音對象、無線傳輸、人員定位，而且實時信息可以跟后端進行遠程的聯動。

人證識別一體機，在我們進出口的時候訪客進行采集。

人臉設備閘機。很多進出口都有人臉識別，它的識別速度非常快，基本上都是我們講的以秒級的速度就能夠實現我們講的對于人員的進出進行管控。

這些是在我們原來系統之上前端設備的介紹。

接下來我想給大家介紹一下我們的企業，我們應該屬于進入電力行業不久的企業。北京華電羅普特科技有限公司，由華北電力大學、廈門建發股份、羅普特科技集團公司合資成立的一家專門針對于電廠安全的高科技企業。華北電力大學，有很多的技術積累，包括承擔國家的重大研發項目，為我們這家公司提供了方向的指導，包括科研的積累。建發股份是世界五百強企業，2018年建發收入2803億，在電力行業建發股份原來就擁有很好的市場渠道。羅普特集團一直是專注于圖像技術、人工智能、大數據在安全領域的應用，原來主要是針對公安、政法的一些行業開發出來基于視頻的一些應用的技術。所以其實也可以看到，我們目前針對于電力行業安全，主要是基于視頻為核心，整合大數據的應用。我們也相信，將三家股東的精華、特長、優勢能夠融匯、匯聚，為電力企業的智慧經營、智慧生產、智慧安全提供先進的技術和優質的服務。

我的介紹就是這些。謝謝大家！