Topic provider

IKMLab,智慧型知識管理實驗室 (Intelligent Knowledge Management Lab),成立於 2004 年,指導教授為高宏宇教授,目前有 7 位博士生,以及 14 位碩士生。實驗室研究方向以自然語言處理 (Natural Language Processing),資料探勘 (Data Mining) 以及機器學習 (Machine Learning) 為主,利用智慧運算方法進行非結構化資料的分析與理解,使文字與語言應用能夠更智慧化更實用化。
主要研究議題包含自然語言處理與理解,醫學資訊分析,使用者生成資料分析,情緒分析與意見探勘,對話機器人以及假資訊偵測等。

Introduction

大部分的民眾都會藉由門診的方式來接受醫療行為,而醫療人員也大多會因為看診時的資訊來了解民眾的身體狀況,因此門診互動提供了相當多可貴的資訊。

然而門診時的看診狀況多單靠醫療人員即時做病歷紀錄,且往往因為時間急迫而只能做條列式的簡潔紀錄。但是整個看診狀況能夠提供相當多有用的資訊,若能讓醫療人員可以事後回顧看診狀況或是有即時的決策輔助系統,將能節省醫療人員的時間心力、降低他們的負擔。

本競賽提供從成大醫院合作之門診所收錄而來的門診對話及相關訪談的看診對話資料,由醫師針對該次門診對話進行標註。並將資料分為訓練集、開發集與測試集。

本競賽共有兩個預測任務:(1)決策預判與風險評估, (2)醫病問答。

(1)決策預判與風險評估:從門診對話脈絡,判斷該求診民眾是否需要再進一步評估,例如感染疾病的風險高低、是否需要再回診或檢查。

(2)醫病問答:題目為從門診對話資料擷取出與該次看診狀況有關的問題,從多選項中回答出正確選項為答案。

本競賽以 AUROC 作為(1)決策預判與風險評估的表現評估方法;以 Accuracy 作為(2)醫病問答的表現評估方法。最終將兩個任務的得分做算術平均,成為此次競賽參賽者系統的最終分數。

相關問題諮詢,請洽:ikm.ncku@gmail.com


參賽對象

  • 全國各大專院校在學生(含研究生)。
  • 全國高中職學生,因報名系統限制,高中學生報名時,請先以業界人士身份進行報名,待名次確認或獲獎時須提供在校證明,以便受獎。
  • 業界亦可參加,若名次在前 25% 且超過 basline 之隊伍,經評審委員審定後,僅可獲頒計畫辦公室獎狀,無法受領教育部獎狀和獎金。


競賽方式及評選辦法

本競賽「醫病訊息決策與對話語料分析競賽 - 春季賽」將分為兩項任務:(1)「決策預判與風險評估」係依據主辦單位所提供之語料集,並經由主辦單位聘僱之生物及醫學領域專家所標註的結果,以 AUROC 來評比各參賽隊伍的系統效能和名次。(2)「醫病問答」係依據主辦單位所提供之語料集,並經由主辦單位聘僱之生物及醫學領域專家所標註的結果,以 Accuracy 來評比各參賽隊伍的系統效能和名次。

詳細辦法說明如下:本競賽有三種語料集,分別為訓練集(Training Data)、開發集(Development Data)及測試集(Test Data),其中訓練集與開發集分為兩次釋出,第一次釋出訓練集,第二次釋出開發集。

  • 第一階段:主辦單位提供約 20 篇經生物及醫學領域專家標註之範例資料。
  • 第二階段:春季賽分次提供訓練集與開發集:第一次提供訓練集,於第二次提供開發集,並提供線上評分排名系統,根據不同任務採用 AUROC 或是 Accuracy 指標評分。須注意每次公布新的資料集,都會清空排名系統,重新進行評分排名。參賽隊伍需從「訓練集」中訓練模型,並以該模型對「開發集」進行預測,上傳「開發集」之預測結果至線上評分排名系統,來進一步調校系統效能。
  • 第三階段:主辦單位公布完整的測試集(Test Data)。參賽隊伍需在截止時間前,至平台上傳「完整測試集」的預測結果。
  • 第四階段:競賽時間截止,系統會以最後一筆上傳的結果計算測試集的評估分數,並以此測試集的結果為最終排名依據。
  • 參賽者必須在分數公布後,於規範時程內上傳系統報告說明文件以及原始程式碼,以茲證明無任何作弊或抄襲之可能。委員們將在此階段一一進行嚴格的文件審查,未上傳隊伍將不列入最後名次與獎項評選名單。
  • 評分:決策預判與風險評估任務用 AUROC 來評估參賽隊伍的系統效能,醫病問答任務用 Accuracy 來評估參賽隊伍的系統效能,兩者最終分數公布於 Private Leaderboard,而本春季賽的最終分數為兩項任務分數的算術平均值,委員將以此最終分數的成績高低為依據評估最後獎金賽名次。

※開發集階段每個參賽隊伍最多每日上傳三次,在測試集階段每個參賽隊伍最多只能上傳一次


Prize

敘獎對象須為報名時具中華民國各大專校院之在學生,敘獎時需檢附相關證明。

在「醫病訊息決策與對話語料分析競賽 - 春季賽」項目前 15 名的優勝隊伍和兩名創意隊伍將獲得競賽獎金,春季賽獎金共 40 萬:

名次獎金
第一名10 萬元
第二名7 萬元
第三名5 萬元
優等兩名各 3 萬元
佳作十名各 1 萬元
創意兩名各 1 萬元
  • 獲獎隊伍經評審委員審定後將獲得教育部獎狀乙紙。
  • 各項獎勵名額得視參賽件數及成績酌予調整,參賽作品未達水準時,得由決選評審委員決定從缺,或不足額入選。
  • 創意獎項由評審委員根據其方法表現、創新性與做法獨特性等面向評選出至多兩名隊伍。

Activity time

活動開始於台灣時間(UTC+8小時)2021/03/02,結束於 2021/06/18 午夜 11 時 59 分,於 2021/07/12 公布結果。

醫病決策預判與問答 - 春季賽
時間事件
2021/03/02開放報名及組隊(提供 Sample data)
2021/03/22公布 Baseline 與演算法等參數
2021/03/23-04/20校園巡迴講座(確切時間待公布)
2021/04/21公布訓練集資料,開放下載
2021/05/18公布開發集資料,開放下載及上傳答案
2021/05/25 23:59:59報名及組隊截止(更改隊伍名稱截止)
2021/06/17 12:00公布測試集,開放下載及上傳答案
2021/06/18 12:52:00

比賽截止,關閉測試集的資料上傳答案算分功能

算分方式:決策預判與風險評估任務採用 AUROC

2021/06/18 12:00:00開始上傳報告及原始程式碼
2021/06/23公布系統分數
2021/06/28上傳報告截止
2021/06/29-07/18評估(系統+報告)
2021/07/19公布最後成績(系統+報告)(頒獎結果將公布於官網)


詳細頒獎資訊請見:

Evaluation Criteria

決策預判與風險評估任務評估方式採用 AUROC,如下:

Area under ROC curve

(圖片來源)

醫病問答任務評估方式採用 Accuracy,其公式如下:
$$ Accuracy = \frac{TP + TN} {TP + TN + FP + FN} $$

  • $TP為True\ Positive$
  • $FP為False\ Positive$
  • $TN為True\ Negative$
  • $FN為False\ Negative$

本春季賽的最終分數為將兩項任務分數做算術平均,其公式如下:
● 最終分數=決策預判與風險評估任務的得分*0.5 + 醫病問答任務的得分*0.5

Rules

  1. 參賽隊伍不得使用多重帳號參加同一項競賽,違者喪失競賽資格;參賽隊伍若個別成員自行以個人帳號上傳者,視同使用多重帳號參賽。
  2. 每人限報名一隊,加入隊伍後便無法換隊,但能繼續添加隊伍人數到上限五人。
  3. 參加本春季賽必須要同時參加春季賽的兩項任務(1)決策預判與風險評估、(2)醫病問答,最後分數以兩項任務分數平均來計算本春季賽最終分數的排行榜。
  4. 線上評分排名系統每日有上傳次數限制,開發集階段每個參賽隊伍最多每日上傳三次,在測試集階段每個參賽隊伍最多只能上傳一次
  5. 每次公布新的資料集,都會清空排名系統,並重新進行評分排名。
  6. 參賽隊伍可使用開源且不需另外申請之額外資源及套件等來增進模型訓練結果,但禁止使用人工方式手動標註測試集(Test Data)。
  7. 參賽作品所使用之資料、技術、程式碼,均屬參賽隊伍之原創或已取得合法授權,若有任何第三者侵害智慧財產權或其他違法情事,均由參賽隊伍自行出面處理 ; 若有侵害他人智慧財產權之情事者,主辦單位將取消競賽及得獎資格,參賽隊伍應自行負責相關法律責任。
  8. 為確保競賽的公平性,主辦單位有權要求參賽隊伍提供程式碼與相關資料進行驗證,如有造假、抄襲或詐欺之情事,主辦單位得取消其參賽與得獎資格並追回獎金,參賽隊伍需自行負擔相關法律責任。
  9. 主辦單位會要求敘獎隊伍提交模型演算法之原始程式碼與最終報告,以驗證結果。
  10. 本競賽教育部獎金與獎狀之敘獎對象為全學生之隊伍,隊伍內成員於報名時需全員符合學生身份才可擁有教育部獎金與獎狀之資格;業界得獎者可獲得計畫辦公室獎狀,獎金則視各舉辦競賽團隊而定。
  11. 本競賽獎金敘獎對象為全學生之隊伍,隊伍內成員於報名時需全員符合學生身份才可擁有獲獎資格,指導教授不得與學生一同報名,請於最終報告內填寫指導教授名稱即可。
  12. 參賽成果之智慧財產權歸屬參賽隊伍所有,其著作授權、專利申請、技術移轉及權益分配等相關事宜,應依相關法令辦理。
  13. 得獎隊伍獲得獎金應配合中華民國稅法繳交相關所得稅。
  14. 參賽隊伍如違反本競賽辦法之相關規定,將取消其參賽資格,如已獲獎,則撤銷獲得之獎項,並追回獎金及獎狀。
  15. 如有以上未盡事宜,視當時狀況共同商議之。
  16. 凡參加報名者,視為已閱讀並完全同意遵守本活動之一切規定。
  17. 若遇爭議,主辦單位保有活動最終解釋權。
  18. 如有下列情事,主辦單位得無需告知參賽者,逕行取消參賽者資格或領獎資格:
    • 已有具體事證,所屬隊伍有任何抄襲、作弊、或詐欺等行為。
    • 已有具體事證,所屬隊伍有侵害他人智慧財產權之情事。
    • 已有具體事證,所屬隊伍有對 Leaderboard 系統進行攻擊。
    • 已有具體事證,所屬隊伍影響其他參賽隊伍導致不公平事例發生。