589 / 368

participants / team

Topic provider

IKMLab,智慧型知識管理實驗室 (Intelligent Knowledge Management Lab),成立於 2004 年,指導教授為高宏宇教授,目前有 7 位博士生,以及 14 位碩士生。實驗室研究方向以自然語言處理 (Natural Language Processing),資料探勘 (Data Mining) 以及機器學習 (Machine Learning) 為主,利用智慧運算方法進行非結構化資料的分析與理解,使文字與語言應用能夠更智慧化更實用化。
主要研究議題包含自然語言處理與理解,醫學資訊分析,使用者生成資料分析,情緒分析與意見探勘,對話機器人以及假資訊偵測等。

IKMLab,智慧型知識管理實驗室 (Intelligent Knowledge Management Lab),成立於 2004 年,指導教授為高宏宇教授,目前有 7 位博士生,以及 14 位碩士生。實驗室研究方向以自然語言處理 (Natural Language Processing),資料探勘 (Data Mining) 以及機器學習 (Machine Learning) 為主,利用智慧運算方法進行非結構化資料的分析與理解,使文字與語言應用能夠更智慧化更實用化。
主要研究議題包含自然語言處理與理解,醫學資訊分析,使用者生成資料分析,情緒分析與意見探勘,對話機器人以及假資訊偵測等。

2021/06/23 報告上傳與相關通知

各位參賽者好: 關於競賽獎項評估,請各位一定要上傳成果報告及原始程式碼,我們會經評審委員審定最後的獲獎資格喔! 此外有一些事項需要各組參賽隊伍注意: 1. 完賽隊伍請盡速上傳報告和程式碼,且請依報告模板撰寫,上傳檔名請命名為“分數排名_隊名.zip”,報告內容,需含程式語言版本、執行的作業系統、使用的每個套件的版本等說明 2. 創意獎項是額外評估項目,分數在 0.6 上且有獨特作法 (模型設計、資料處理等) 的隊伍皆可勾選,並於報告中詳述。 3. 請出具所有隊友之學生證明,才具有領獎資格。 此外由於有隊伍有需求,我們有另外提供算分服務,每組僅限一次,時間至下周三 6/30 截止喔。 另外排名前五名隊伍,請近期注意 mail 收件通知。 報告模板下載:https://reurl.cc/En4QQa

2021/06/18 測試集上傳結束與部分通知

各位參賽者好: 測試集上傳時間已結束,我們正在後台整理數據,根據時辰規劃我們會在 6/23 公開排行榜成績。 此外,若在上傳階段有問題者,例如通過檢查程式卻無法上傳等原因,請寄信給我們,我們會協助處理。 另外,若參賽者來不及在這期間上傳,但仍需要分數者,請寄信給我們,我們會協助進行評分。

2021/06/18 下載競賽成果報告範本檔案

各位參賽者好, 關於<上傳說明文件>, 也就是競賽成果報告,提供繳交的報告範本連結如下, 請下載填寫。 https://drive.google.com/file/d/1mdqhmKvToQwFNoU0utmuYzq-OSMboSZ5/view?usp=sharing

2021/06/17 排行榜設定

各位參賽者好: 由於目前是測試集階段,我們會暫時將排行榜做隱藏,直到大家上傳結束後才會公布全體排名和相關成績, 請大家趕緊上傳答案吧!

2021/06/17 測試集已釋出及上傳延期通知

各位參賽者好: 測試集已經釋出, 此外關閉上傳的時間將延後到 6/18 12:52:00 ,請大家見諒。

2021/06/17 測試集釋出狀況

各位參賽者好: 由於官方平台有狀況,我們正在努力排解問題中,會盡快修復並釋出測試集和檢查程式。 此外也會根據延遲的時間去延後關閉上傳的時間,請大家見諒。

2021/06/16 測試集上傳時間及檢查程式

各位參賽者好: 6/17 12:00 至 6/18 12:00 是我們測試集的釋出及上傳,請注意整個過程中僅能上傳一次,由於為了避免因為格式問題而導致失去唯一一次上傳機會,我們也會一併提供檢查格式程式,請自行下載並在上傳前先使用檢查格式程式確認後再上傳,以免影響自身權益,請大家加油!

2021/06/16 報名截止以及參賽資格取消

各位參賽者好: 由於疏忽我們未在規定組隊截止後關閉相關功能,導致仍然有人進行組隊的行為,這將影響其他參賽隊伍的權益,主辦方已經掌握這些在時限後組隊的隊員及隊伍,我們會於今日稍晚移除其上傳紀錄以及取消其參賽資格以示公平,如有任何問題都請寄信至主辦信箱。

2021/05/24 報名截止及時程注意事項

各位參賽者好: 明天會是報名和組隊及更改隊伍名稱截止日期,請大家留意自己的組隊狀況,以及隊伍名稱是否響亮又好聽,逾時將不再接受報名及組隊要求。 此外在時程上請大家再次注意,最終測試集時間為 6/17 「中午」開始及 6/18 「中午」結束,請不要錯過該上傳時間喔!

2021/05/17 開發集及 Baseline 基本分數

各位參賽者好: 明天即將公布開發集,並同時開放上傳答案及評分。 另外,有關於敘獎資格裡的 Baseline 分數分別為【風險評估:0.59】【醫病問答:0.35】,請大家朝著超越此分數努力!

2021/05/05 獎項內容異動公告

獎項原內容:敘獎對象須為報名時具中華民國各大專校院之在學生,敘獎時需檢附相關證明。 獎項新內容:敘獎對象須為報名時具中華民國之在學生,敘獎時需檢附相關證明。 只要是中華民國之在學學生身份,皆可以領取教育部或計畫辦公室獎金或獎狀。

2021/04/07 巡迴課程

各位參賽者好: 本次競賽將提供巡迴課程,內容包含此次競賽的相關資訊與教學,請大家踴躍報名參加! 中央大學場:04/13 (二) 13:00 ~ 16:00 臺灣大學場:04/15 (四) 09:10 ~ 12:10 成功大學場:04/22 (四) 09:00 ~ 12:00 附件表單中將含有詳細地點以及其他說明,請大家踴躍報名! 報名連結:https://forms.gle/i4zBzx3m5KktnGKG7

Introduction

大部分的民眾都會藉由門診的方式來接受醫療行為,而醫療人員也大多會因為看診時的資訊來了解民眾的身體狀況,因此門診互動提供了相當多可貴的資訊。

然而門診時的看診狀況多單靠醫療人員即時做病歷紀錄,且往往因為時間急迫而只能做條列式的簡潔紀錄。但是整個看診狀況能夠提供相當多有用的資訊,若能讓醫療人員可以事後回顧看診狀況或是有即時的決策輔助系統,將能節省醫療人員的時間心力、降低他們的負擔。

本競賽提供從成大醫院合作之門診所收錄而來的門診對話及相關訪談的看診對話資料,由醫師針對該次門診對話進行標註。並將資料分為訓練集、開發集與測試集。

本競賽共有兩個預測任務:(1)決策預判與風險評估, (2)醫病問答。

(1)決策預判與風險評估:從門診對話脈絡,判斷該求診民眾是否需要再進一步評估,例如感染疾病的風險高低、是否需要再回診或檢查。

(2)醫病問答:題目為從門診對話資料擷取出與該次看診狀況有關的問題,從多選項中回答出正確選項為答案。

本競賽以 AUROC 作為(1)決策預判與風險評估的表現評估方法;以 Accuracy 作為(2)醫病問答的表現評估方法。最終將兩個任務的得分做算術平均,成為此次競賽參賽者系統的最終分數。

相關問題諮詢,請洽:ikm.ncku@gmail.com


參賽對象

  • 全國各大專院校在學生(含研究生)。
  • 全國高中職學生,因報名系統限制,高中學生報名時,請先以業界人士身份進行報名,待名次確認或獲獎時須提供在校證明,以便受獎。
  • 業界亦可參加,若名次在前 25% 且超過 basline 之隊伍,經評審委員審定後,僅可獲頒計畫辦公室獎狀,無法受領教育部獎狀和獎金。


競賽方式及評選辦法

本競賽「醫病訊息決策與對話語料分析競賽 - 春季賽」將分為兩項任務:(1)「決策預判與風險評估」係依據主辦單位所提供之語料集,並經由主辦單位聘僱之生物及醫學領域專家所標註的結果,以 AUROC 來評比各參賽隊伍的系統效能和名次。(2)「醫病問答」係依據主辦單位所提供之語料集,並經由主辦單位聘僱之生物及醫學領域專家所標註的結果,以 Accuracy 來評比各參賽隊伍的系統效能和名次。

詳細辦法說明如下:本競賽有三種語料集,分別為訓練集(Training Data)、開發集(Development Data)及測試集(Test Data),其中訓練集與開發集分為兩次釋出,第一次釋出訓練集,第二次釋出開發集。

  • 第一階段:主辦單位提供約 20 篇經生物及醫學領域專家標註之範例資料。
  • 第二階段:春季賽分次提供訓練集與開發集:第一次提供訓練集,於第二次提供開發集,並提供線上評分排名系統,根據不同任務採用 AUROC 或是 Accuracy 指標評分。須注意每次公布新的資料集,都會清空排名系統,重新進行評分排名。參賽隊伍需從「訓練集」中訓練模型,並以該模型對「開發集」進行預測,上傳「開發集」之預測結果至線上評分排名系統,來進一步調校系統效能。
  • 第三階段:主辦單位公布完整的測試集(Test Data)。參賽隊伍需在截止時間前,至平台上傳「完整測試集」的預測結果。
  • 第四階段:競賽時間截止,系統會以最後一筆上傳的結果計算測試集的評估分數,並以此測試集的結果為最終排名依據。
  • 參賽者必須在分數公布後,於規範時程內上傳系統報告說明文件以及原始程式碼,以茲證明無任何作弊或抄襲之可能。委員們將在此階段一一進行嚴格的文件審查,未上傳隊伍將不列入最後名次與獎項評選名單。
  • 評分:決策預判與風險評估任務用 AUROC 來評估參賽隊伍的系統效能,醫病問答任務用 Accuracy 來評估參賽隊伍的系統效能,兩者最終分數公布於 Private Leaderboard,而本春季賽的最終分數為兩項任務分數的算術平均值,委員將以此最終分數的成績高低為依據評估最後獎金賽名次。

※開發集階段每個參賽隊伍最多每日上傳三次,在測試集階段每個參賽隊伍最多只能上傳一次


Prize

敘獎對象須為報名時具中華民國之在學生,敘獎時需檢附相關證明。

在「醫病訊息決策與對話語料分析競賽 - 春季賽」項目前 15 名的優勝隊伍和兩名創意隊伍將獲得競賽獎金,春季賽獎金共 40 萬:

名次獎金
第一名10 萬元
第二名7 萬元
第三名5 萬元
優等兩名各 3 萬元
佳作十名各 1 萬元
創意兩名各 1 萬元
  • 獲獎隊伍經評審委員審定後將獲得教育部獎狀乙紙。
  • 各項獎勵名額得視參賽件數及成績酌予調整,參賽作品未達水準時,得由決選評審委員決定從缺,或不足額入選。
  • 創意獎項由評審委員根據其方法表現、創新性與做法獨特性等面向評選出至多兩名隊伍。

Activity time

活動開始於台灣時間(UTC+8小時)2021/03/02,結束於 2021/06/18 下午 12 時 52 分,於 2021/07/19 公布結果。

醫病決策預判與問答 - 春季賽
時間事件
2021/03/02開放報名及組隊(提供 Sample data)
2021/03/22公布 Baseline 與演算法等參數
2021/03/23-04/20校園巡迴講座(確切時間待公布)
2021/04/21公布訓練集資料,開放下載
2021/05/18公布開發集資料,開放下載及上傳答案
2021/05/25 23:59:59報名及組隊截止(更改隊伍名稱截止)
2021/06/17 12:00公布測試集,開放下載及上傳答案
2021/06/18 12:52:00

比賽截止,關閉測試集的資料上傳答案算分功能

算分方式:決策預判與風險評估任務採用 AUROC

2021/06/18 12:00:00開始上傳報告及原始程式碼
2021/06/23公布系統分數
2021/06/28上傳報告截止
2021/06/29-07/18評估(系統+報告)
2021/07/19公布最後成績(系統+報告)(頒獎結果將公布於官網)


詳細頒獎資訊請見: https://moeaincu.wixsite.com/aicup

Evaluation Criteria

決策預判與風險評估任務評估方式採用 AUROC,如下:

Area under ROC curve

(圖片來源)

醫病問答任務評估方式採用 Accuracy,其公式如下:
$$ Accuracy = \frac{TP + TN} {TP + TN + FP + FN} $$

  • $TP為True\ Positive$
  • $FP為False\ Positive$
  • $TN為True\ Negative$
  • $FN為False\ Negative$

本春季賽的最終分數為將兩項任務分數做算術平均,其公式如下:
● 最終分數=決策預判與風險評估任務的得分*0.5 + 醫病問答任務的得分*0.5

Rules

  1. 參賽隊伍不得使用多重帳號參加同一項競賽,違者喪失競賽資格;參賽隊伍若個別成員自行以個人帳號上傳者,視同使用多重帳號參賽。
  2. 每人限報名一隊,加入隊伍後便無法換隊,但能繼續添加隊伍人數到上限五人。
  3. 參加本春季賽必須要同時參加春季賽的兩項任務(1)決策預判與風險評估、(2)醫病問答,最後分數以兩項任務分數平均來計算本春季賽最終分數的排行榜。
  4. 線上評分排名系統每日有上傳次數限制,開發集階段每個參賽隊伍最多每日上傳三次,在測試集階段每個參賽隊伍最多只能上傳一次
  5. 每次公布新的資料集,都會清空排名系統,並重新進行評分排名。
  6. 參賽隊伍可使用開源且不需另外申請之額外資源及套件等來增進模型訓練結果,但禁止使用人工方式手動標註測試集(Test Data)。
  7. 參賽作品所使用之資料、技術、程式碼,均屬參賽隊伍之原創或已取得合法授權,若有任何第三者侵害智慧財產權或其他違法情事,均由參賽隊伍自行出面處理 ; 若有侵害他人智慧財產權之情事者,主辦單位將取消競賽及得獎資格,參賽隊伍應自行負責相關法律責任。
  8. 為確保競賽的公平性,主辦單位有權要求參賽隊伍提供程式碼與相關資料進行驗證,如有造假、抄襲或詐欺之情事,主辦單位得取消其參賽與得獎資格並追回獎金,參賽隊伍需自行負擔相關法律責任。
  9. 主辦單位會要求敘獎隊伍提交模型演算法之原始程式碼與最終報告,以驗證結果。
  10. 本競賽教育部獎金與獎狀之敘獎對象為全學生之隊伍,隊伍內成員於報名時需全員符合學生身份才可擁有教育部獎金與獎狀之資格;業界得獎者可獲得計畫辦公室獎狀,獎金則視各舉辦競賽團隊而定。
  11. 本競賽獎金敘獎對象為全學生之隊伍,隊伍內成員於報名時需全員符合學生身份才可擁有獲獎資格,指導教授不得與學生一同報名,請於最終報告內填寫指導教授名稱即可。
  12. 參賽成果之智慧財產權歸屬參賽隊伍所有,其著作授權、專利申請、技術移轉及權益分配等相關事宜,應依相關法令辦理。
  13. 得獎隊伍獲得獎金應配合中華民國稅法繳交相關所得稅。
  14. 參賽隊伍如違反本競賽辦法之相關規定,將取消其參賽資格,如已獲獎,則撤銷獲得之獎項,並追回獎金及獎狀。
  15. 如有以上未盡事宜,視當時狀況共同商議之。
  16. 凡參加報名者,視為已閱讀並完全同意遵守本活動之一切規定。
  17. 若遇爭議,主辦單位保有活動最終解釋權。
  18. 如有下列情事,主辦單位得無需告知參賽者,逕行取消參賽者資格或領獎資格:
    • 已有具體事證,所屬隊伍有任何抄襲、作弊、或詐欺等行為。
    • 已有具體事證,所屬隊伍有侵害他人智慧財產權之情事。
    • 已有具體事證,所屬隊伍有對 Leaderboard 系統進行攻擊。
    • 已有具體事證,所屬隊伍影響其他參賽隊伍導致不公平事例發生。