醫病訊息決策與對話語料分析競賽

競賽入口


簡介


隨著傳染疾病的演變,今日的全球公衛醫療環境常需要面對感染疾病大量流行時所帶來的大量醫療需求,醫護資源在突如其來的大量病患與醫療需求下,常常是不足的。因此如何透過瞭解醫病對話,輔助醫護人員進行各種診斷的初篩,使醫護人員的資源可以有更大的發揮,是相當重要的課題。另外,除了流行感染病外,面對日漸增加的愛滋病病患,有效地判斷可能患者並施以相關預防藥物,對他們來說是相當重要。如有一初階的預判或是決策系統,不但可以減輕醫療人力在這方面的負擔,也可以廣泛推廣相關預防的衛教措施,尤其像愛滋病這類一般民眾可能羞於直接面對醫療人員而錯過治療時機,更是適合透過系統的互動來進行初篩或是風險評估。

醫療人員的專業知識現有的資訊系統很難去完全取代,但有一些前置作業或是固定與常見狀況的預判,這一部分是有機會可以藉由資料的收集與分析建構一決策系統來替代。

在醫院裡有許多醫病過程是經由醫療或是衛教人員與病患之間的對談來進行,透過對話中的判斷,醫療人員可以進行相關醫病處置與決策。而這對談或是問答的過程都需要專業的醫療人員來施行,人力上的成本也是醫療體系效能的一大挑戰,所以透過與醫院間的合作,定義相關可由電腦預判的問題,並進行資料語料庫的收集,藉此靠著人工智慧自然語言理解的訓練來建構初階決策與預判斷模型,達到降低醫療人員負擔的目的。

而除了預判與決策系統外,靠著相關醫病的對話語料庫,未來也可以用來輔助建構相關醫病對話模型,例如可以直接面對一般民眾詢問的衛教對話機器人,也可以在衛教知識或是相關疫情爆發時大量詢問的對話窗口。

參賽對象


全國各大專院校在學生(含研究生),業界亦可參加,但不列入敘獎排名。

競賽獎金


競賽獎金
秋季賽
(獎金共30萬)
第一名 第二名 第三名 優等(二名) 佳作(十名)
8 萬元 5 萬元 3 萬元 二名,各2萬元 十名,各1萬元
● 獲獎隊伍經評審委員審定後將獲得教育部獎狀乙紙。
● 各項獎勵名額得視參賽件數及成績酌予調整,參賽作品未達水準時,得由決選評審委員決定從缺或不足額入選。

競賽方式及評選辦法


本競賽「醫病訊息決策與對話語料分析競賽 - 秋季賽:醫病資料去識別化」係依據主辦單位所提供之語料集,並經由主辦單位聘僱之生物及醫學領域專家所標註的結果,以 F1-Score 來評比各參賽隊伍的系統效能和名次,詳細辦法說明如下:本競賽有三種語料集,分別為訓練集(Training Data)、開發集(Development Data)及測試集(Test Data)。

  • 第一階段:主辦單位提供約 20 篇經生物及醫學領域專家標註之範例資料。
  • 第二階段:秋季賽分三次提供訓練集與開發集: 第一次提供部分訓練集,並於兩週後(第二次)提供部分開發集,第三次提供全部訓練集與全部開發集。並提供線上評分排名系統,使用 F1-Score 指標評分。須注意每次公佈新的資料集,都會清空排名系統,重新進行評分排名。參賽隊伍需從「訓練集」中訓練模型,並以該模型對「開發集」進行預測,並上傳「開發集」之預測結果至線上評分排名系統,來進一步調校系統效能。
  • 第三階段:主辦單位公布完整的測試集(Test Data)。參賽隊伍需在截止時間前,至平台上傳從「完整測試集」的預測結果。
  • 第四階段:競賽時間截止,系統會以最後一筆上傳的結果計算測試集的評估分數,並以此測試集的結果為最終排名依據。
  • 參賽者必須在分數公布後,於規範時程內上傳系統報告說明文件以及原始程式碼,以茲證明無任何作弊或抄襲之可能。委員們將在此階段一一進行嚴格的文件審查,未上傳隊伍將不列入最後名次與獎項評選名單。
  • 評分:最後用 F1-Score 來評估參賽隊伍的系統效能,並公布於 Private Leaderboard,委員將以此成績高低為依據評估最後獎金賽名次。
● 相關問題諮詢,請洽:ikm.ncku@gmail.com

活動時間


醫病資料之去識別化 - 秋季賽
2020/09/03 開放報名及組隊(提供註冊及Sample data)
2020/09/10 公布訓練集資料、開放下載
2020/09/15 公布 Baseline 與演算法等參數
2020/10/05 公布建構集 Part1, 開放下載及上傳答案
2020/10/12-2020/10/23 校園巡迴講座(確切時間待公布)
2020/11/10 公布建構集 Part2 及訓練集資料 Part2,開放下載及上傳答案
2020/12/13 23:59:59 報名及組隊截止
2020/12/14 公布測試集,開放下載及上傳答案
2020/12/21 23:59:59 比賽截止,關閉測試集的資料上傳答案算分功能算分方式採用F1-Score
2020/12/25 公布系統分數(開始上傳報告及原始程式碼)
2020/12/31 23:59:59 上傳報告截止
2021/01/01-2021/01/07 評估(系統+報告)
2021/01/08 公布最後成績(系統+報告)(頒獎時間待公布)

評估標準


請參照競賽議題頁面

議題提供單位