第5回サイレント音声認識ワークショップ

2018年9月29日(土)~30日(日)
東京理科大学 野田キャンパス

コンペティション「機械読唇チャレンジ」

  • タスク:日本語25単語発話シーン分類問題

  • 参加条件:
    • コンペティション参加申込み手続きを行って下さい。
    • 1名(1グループ)で複数の認識手法の結果を提出していただけます。この場合、複数のIDをそれぞれ登録して下さい(コンペティション参加申込み手続きを複数行って下さい)。
    • 評価方法に従い、認識結果テキストファイル(ここではR-fileと呼びます)を認識結果提出〆切日時までに本Webサイトを利用してアップロードして下さい。R-fileは認識結果提出〆切日時までであれば差し替え可能です。結果は上書きされます。
    • コンペティション用アブストラクトとして、下記項目についてスライド3枚(MS PowerPointファイル)にまとめて、認識結果提出〆切日時までにメール添付で提出して下さい。この資料は、主催者が総括用に利用します。
      1. ユーザ(グループ)ID and/or 氏名
      2. 認識手法の概要
      3. 実験環境
      4. 工夫した点
    • ワークショップの発表申込み手続き(こちら)を行って下さい。
    • ワークショップ用アブストラクトを提出してください。詳細はこちらをご覧下さい。

  • コンペティション参加申込み手続き 終了しました。
    参加申込み手続き〆切日時:2018年8月24日(金)23:59 8月31日(金)23:59

  • 利用データ:SSSD[+]
    データは無償で配布していますが、利用契約書を提出していただく必要があります。提供データなどの詳細はSSSDのWebサイトでご確認下さい。

  • 評価方法:
    • 学習データ:24名×25単語×30サンプル(合計18,000)の発話シーン
    • テストデータ:5,000サンプルの発話シーン
      テストデータリスト
      テストデータはSSSDと同じ形式の非公開分です。発話者数、各発話者のサンプル数、各単語のサンプル数などはSSRW2018開催まで非公開です。
      各サンプルの正解値は認識結果提出〆切後に公開します。
    • 参加者が提出したR-fileよりスコアを自動的に算出します。
      R-fileは各サンプルの認識結果(分類結果)の単語番号(0~24、整数値)を1行ずつ記入したものと定義します。今回のテストデータサンプル数は5,000のため、R-fileの行数は5,000行になります。
      下記サンプルR-fileを参考にして下さい。
      サンプルR-file
      ※このサンプルR-fileを評価した場合、スコアは0.039400になります。サンプルR-fileは様式を確認していただくために乱数値で作成しました。
    • (スコア)=(正解サンプル数)/ 5,000
      スコアは0~1の範囲です。スコアが1に近いほど、高い精度を意味します。
    • 認識結果(R-file)の提出および評価 提出期間は終了しました。
      上記よりR-fileを提出して下さい。提出するとスコアを自動計算して、スコアを表示します。

  • コンペティション結果:
    teamData typeScoreCode
    1mulgrayBoth feature points and images0.6112
    2ssogo_xactiOnly images0.3052GitHub
    3touyu0203Both feature points and images0.1114

  • 認識結果提出〆切日時:2018年8月24日(金)23:59 8月27日(月)23:59 9月3日(月)23:59

  • アブストラクト提出先:saitoh at ces.kyutech.ac.jp

  • SSRW2018における発表方法:
    口頭発表
    主催者側が、コンペティション参加者数の人数に応じて、口頭発表、ポスター発表のいずれかの発表形式を決定します。
    発表形式については2018年9月1日(土)までに公開します。

  • 主催者:九州工業大学・齊藤剛史
    問い合わせ先:saitoh at ces.kyutech.ac.jp

  • 協力者:東京理科大学・桂田浩一、岐阜大学・田村哲嗣、デンソーアイティーラボラトリ・山本光穂、デンソーアイティーラボラトリ・吉澤顕