コンペティション「第2回機械読唇チャレンジ」
- タスク：日本語25単語発話シーン分類問題
- 参加条件：
- 昨年開催の「第1回機械読唇チャレンジ」と学習データおよびテストデータが異なりますが、その他は「第1回機械読唇チャレンジ」と同じです。
- コンペティション参加申込み手続きを行って下さい。
- 1名（1グループ）で複数の認識手法の結果を提出していただけます。この場合、複数のIDをそれぞれ登録して下さい（コンペティション参加申込み手続きを複数行って下さい）。
- 評価方法に従い、認識結果テキストファイル（ここではR-fileと呼びます）を認識結果提出〆切日時までに本Webサイトを利用してアップロードして下さい。R-fileは認識結果提出〆切日時までであれば差し替え可能です。結果は上書きされます。
- コンペティション用アブストラクトとして、下記項目についてスライド3枚（MS PowerPointファイル）にまとめて、認識結果提出〆切日時までにメール添付で提出して下さい。この資料は、主催者が総括用に利用します。
- ユーザ（グループ）ID and/or 氏名
- 認識手法の概要
- 実験環境
- 工夫した点
- ワークショップの発表申込み手続き（こちら）を行って下さい。
- ワークショップ用アブストラクトを提出してください。詳細はこちらをご覧下さい。
- コンペティション参加申込み手続き
参加申込み手続き〆切日時：2019年9月27日(金)23:59 終了しました。 - 利用データ：SSSD[+]
データは無償で配布していますが、利用契約書を提出していただく必要があります。提供データなどの詳細はSSSDのWebサイトでご確認下さい。 - 評価方法：
- 学習データ：72名×25単語×10サンプル（合計18,000）の発話シーン and/or 他の公開あるいは独自収集の発話シーン
- テストデータ：5,000サンプルの発話シーン
テストデータリスト
テストデータはSSSDと同じ形式の非公開分です。発話者数、各発話者のサンプル数、各単語のサンプル数などはSSRW2019開催まで非公開です。
各サンプルの正解値は認識結果提出〆切後に公開します。 - 参加者が提出したR-fileよりスコアを自動的に算出します。
R-fileは各サンプルの認識結果（分類結果）の単語番号（0～24、整数値）を1行ずつ記入したものと定義します。今回のテストデータサンプル数は5,000のため、R-fileの行数は5,000行になります。
下記サンプルR-fileを参考にして下さい。
サンプルR-file
※このサンプルR-fileを評価した場合、スコアは0.036800になります。サンプルR-fileは様式を確認していただくために乱数値で作成しました。 - （スコア）＝（正解サンプル数）／ 5,000
スコアは0～1の範囲です。スコアが1に近いほど、高い精度を意味します。 - 認識結果（R-file）の提出および評価 提出期間は終了しました。
上記よりR-fileを提出して下さい。提出するとスコアを自動計算して、スコアを表示します。
- コンペティション結果：
※ベースラインはGitHubで公開している3D-CNNを意味しています。team Data type Score 1 gotoh Only images 0.9066 2 minay Only images 0.8738 3 KU_Melco Both feature points and images 0.8354 4 mulgray Both feature points and images 0.8334 5 guasrmin Only images 0.7946 6 shimashima Both feature points and images 0.7848 7 touyu0203 Both feature points and images 0.7578 ベースライン Only images 0.6250 - 認識結果提出〆切日時：2019年9月30日(月)23:59 提出期間は終了しました。
- アブストラクト提出先：saitoh at ces.kyutech.ac.jp
- SSRW2019における発表方法：
口頭発表 - 参考情報：
- 主催者：九州工業大学・齊藤剛史
問い合わせ先：saitoh at ces.kyutech.ac.jp