1. 概述
帕金森病(Parkinson’s disease,PD)是一種慢性、進展性的神經退行性疾病,主要影響運動系統。該病癥以大腦中黑質致密部多巴胺能神經元的逐漸喪失為特征,導致多巴胺(一種重要的神經遞質)含量下降,從而引起一系列運動和非運動癥狀。
1.1 帕金森病的主要癥狀包括
(1). 震顫(Tremor):靜止性震顫是帕金森病最常見的早期癥狀之一,通常從手指、手或腳開始,逐漸擴展到四肢和下巴。
(2). 運動遲緩(Bradykinesia):患者的動作變得緩慢和困難,日常活動如穿衣、寫字等變得困難。
(3). 肌肉僵硬(Rigidity):肌肉變得更僵硬,導致疼痛和減少活動范圍。
(4). 姿勢不穩(Postural Instability):平衡和協調能力受損,容易跌倒。
(5). 面部表情減少(Hypomimia):面部表情減少,俗稱“面具臉”。
(6). 語言變化(Speech Changes):語言可能變得輕柔、快速或含糊不清。
(7). 書寫困難(Micrographia):書寫變得小而緊湊,難以閱讀。
(8). 步態改變(Gait Changes):步態可能變得小步且快速,有時出現“凍結”。
1.2 非運動癥狀
除了運動癥狀外,帕金森病還可能導致一系列非運動癥狀,包括:
- 情感障礙,如抑郁和焦慮
- 認知障礙,可能發展為癡呆
- 睡眠問題
- 疲勞
- 消化系統問題,如便秘
- 感覺障礙,如嗅覺減退
帕金森病的確切原因尚不完全清楚,但遺傳和環境因素可能都有影響。目前,帕金森病沒有根治的方法,但有多種治療手段可以幫助控制癥狀和改善生活質量,包括藥物治療、物理治療、職業治療和在某些情況下的深部腦刺激手術。
1.3 判斷方法
有什么方法可以讓你更容易判斷自己是否患有帕金森?本文提出,可以從面部表情的圖像和視頻數據中判斷有無癥狀。其實,帕金森病的癥狀之一就是面部表情變化的減少。本文以面部表情為重點,對微笑、厭惡、驚訝的面部進行分析研究。
如果能從面部表情來診斷帕金森病,不僅能更容易地診斷出癥狀,對于周圍神經科醫生少或看病難的地區的人來說,也是一種幫助。此外,本研究提出的診斷和分類方法的一個吸引人的特點是,使用SVM訓練、PCA后k-means聚類、應用邏輯回歸模型等基本方法,能夠達到較高的分類精度。
論文地址:https://arxiv.org/abs/2012.05373
源碼地址:https://github.com/mali7/PARK_facial_mimic
2. 診斷方法
2.1 妊高癥
妊高癥 對本病的早期診斷有重要意義。
帕金森病的主要癥狀之一就是癱瘓,會導致面部肌肉活動僵硬,面部表情減少。在這種情況下,"Hypomimia"可以成為一個非常敏感的生物標志物,下面說明它適合早期診斷。
- 可穿戴式傳感器,通常用于現有的生物標記物,是可靠的,但價格昂貴。
- 面部表情分析成本低 (只需要一個攝像頭就可以進行分析,所以實施成本低)。
- 即使神經科醫生不在附近,也能得到診斷(無論地點)。
2.2 遠程醫療的好處
這種基于攝像頭圖像的診斷方式的一個優點是,無論你在哪里都可以得到診斷,這就是
- 因COVID-19或其他原因而需要實際分開的患者。
- 自身行動困難的人
- 周邊沒有神經科醫生的地區。
帕金森病患者特別容易從這種治療中獲益。此外,早期發現帕金森病是非常重要的,因為面部表情減少與社會福利和抑郁癥有關。
3. 算法架構
3.1數據集
數據集由604名參與者(61名有帕金森病癥狀,543名無帕金森病癥狀)組成,每個參與者有3段視頻記錄,共1812段視頻。采用在線帕金森病記錄工具PARK(Parkinson’s Analysis with Remote Kinetic tasks)獲取視頻,本文介紹了利用該框架收集的面部模仿任務的分析結果。本文介紹了利用該框架收集的人臉模仿任務的分析結果。面部模仿任務包括三種面部表情:微笑(Smiling)、厭惡(Disgusted)和驚訝(Surprise),每個視頻都包含其中一種表情。
數據集的一個例子如圖3所示,我們收集了每個視頻的10-12秒,要求參與者做出每個表情,保持該表情幾秒鐘,然后不做任何表情。
對于那些沒有帕金森癥的人來說,Facebook廣告和亞馬遜機械圖爾克斯和亞馬遜機械土豪。對于那些患有帕金森癥的人,他們正在羅切斯特大學醫學中心接受治療,論文作者在那里,或者已經同意參與研究。這些參與者必須經醫療中心的專家診斷為有一定程度的帕金森病癥狀。
3. 2、特征提取和計算工具
使用OpenFace軟件對采集的視頻進行分析,該軟件會自動計算每一幀的面部動作單位(AU)值。這個面部動作單位(AU)(表2)是可用的,目前的研究是基于關聯哪些動作單位受到微笑、厭惡和驚訝的臉的影響。
- 微笑 : AU01, AU06, AU12
- 惡心:AU04、AU07、AU09。
- 驚訝的表情 : AU01, AU02, AU04
如下表2所示,由于發現上述面部動作單位(AUU)與每個面部表情相關,因此計算了AUU的方差,并將此方差作為本研究的一個特征。
2. 3. 分析
首先分析的重點是有帕金森病癥狀和沒有帕金森病癥狀的人之間的特征分布。我們首先進行Mann-Whitney U檢驗,由于數據不是正態分布,我們采用非參數顯著性檢驗。另外,在重復顯著性檢驗中,我們對這里的所有p值進行了Bonferroni校正。
3.實驗結果
3.1 研究合作者的統計資料
3.2 每種表達方式的處理
有帕金森病癥狀和無帕金森病癥狀的人面部各動作單位(AU)的差異可總結如下表2。微笑(Smiling)和驚訝(Surprise)面部表情存在顯著差異,特別是在AU01和AU06中,尤其是微笑面部表情。
這些結果也表明,微笑的表情對區分帕金森病癥狀的有無具有重要意義。
有帕金森病癥狀的人和沒有帕金森病癥狀的人之間AU方差的差異
此外,實際應用SVM對9個面部動作單位(AU)進行分類,判斷是否存在帕金森病癥狀,結果如下。
正確反應率:95.6%,F1:0.95,AUC:0.94,精確度95.8%,召回率94.3。
圖1:邏輯回歸的特征權重。
有帕金森病癥狀的人分為1級,沒有帕金森病癥狀的人分為0級,有帕金森病癥狀的人分為1級。二元分類的結果如下表所示。綠條表示P<0.05的特征,可以說是一個顯著的特征。此外,9個特征中,有7個特征的權重為負值,也就是說面部動作單位(AU)的方差越小,有帕金森病癥狀的概率越高,也可以說面部肌肉的僵硬程度影響了負值。
圖2:九種面部動作單元(AU)的二維可視化。
利用PCA將9個特征轉化為二維數據,然后對圖進行K-means聚類,將其分為三個聚類。紅色聚類的PD%(帕金森病參與者的百分比)最高,為76%,且該紅色聚類的中心靠近(0,0)坐標,說明帕金森病參與者之間AU方差的影響是相似的。
4. 建議
分布顯示,有帕金森病癥狀的人和沒有帕金森病癥狀的人,兩個AU的方差有顯著差異。此外,這兩點都與微笑表情有關,說明微笑表情,比其他表情受帕金森病影響最大。
4.1 邏輯回歸的結果
對數回歸結果(圖1)顯示,在對數回歸的過程中。綠化區是發現意義的區域,四種類型中的
- 三個權重來自于微笑的表情,一個權重來自于厭惡的表情。
- 三種類型的負權重
三個負權重表示與帕金森病癥狀呈反向關系。這意味著,低水平的(額肌、內側肌、上瞼下垂肌、上絨毛下垂肌、卷曲肌、眼輪匝肌、眶旁肌、顴大肌)肌肉。可以說,這個運動與。
4.2 AU01(內眉毛提升器)
眉毛的內側部分是凸起的,這一特征在帕金森病患者中表現出比沒有帕金森病的人更大的變化。過去,眉毛震顫被發現是帕金森病的早期癥狀,有人認為帕金森病可能是眉毛運動增加的一個因素。
4.3 分析精度
雖然帕金森病的癥狀常以幾種不同的方式為特征,包括肢體震顫、頭部運動、聲音、記憶力、睡眠和步態,但以下結果表明,面部表情掃描可以作為可靠的生物標志物。
- 簡單SVM分類器:95%。
- 視頻分析工具:92%(取決于肢體抖動和頭部運動)
4.4 對神經科醫生的影響
通過增加一種算法,分析神經外科醫生可以看到的特征,加上通常肉眼看不到的微妙特征,可以增加重要的新信息。
4.5 重點
需要注意的是,帕金森病患者并不是所有的癥狀都會出現,只有部分癥狀可能會出現,反之則可能沒有癥狀。因此,與其依靠一個與其依賴一種模式,不如使用幾種不同的模式,可以提供更可靠的診斷結果。在本研究中,面部表情(尤其是微笑)被作為可靠性較高的方式之一。
4.6 智能手機的使用
智能手機和其他設備可以用來創建工具,通過拍攝和發送像本研究中的短視頻來自動篩選患者,如果他們有風險,則將他們轉介給神經科醫生。
另外,從全球范圍來看,非洲、亞洲和南美部分地區的神經科醫生人均數量明顯偏低。另一方面,非洲約75%的人(南非超過90%)可以使用手機,本研究提出的基于面部表情的分析方法的使用,可以進一步促進改善健康的公平性和可及性。
5.總結
本文提出了一種基于面部表情辨別帕金森病癥狀有無的方法,并證明這是一種可靠的生物標志物。研究還表明,微笑表情是鑒別的一個重要因素。此外,我們還表明,微笑表情是歧視的一個重要因素。從而實現更容易的診斷。這可以讓目前難以診斷的人更容易診斷,也可以成為精神科醫生無法到達的地區的助手。