オンライン研究会(6.5開催)参加者の問題意識に答えて(矢沢国光)

《大学理工学部4年生より》

学部時代は学内の手話サークルに所属していました。私は大学で手話翻訳AIについて研究しています。本日は、「もし理想的な手話翻訳AIがこの世界に存在したならば、それがろう教育にどう活かされる可能性があるのか」という問いや、「そもそも手話翻訳AIという技術は聴覚障害者のコミュニティの中で必要とされているのかどうか」という問いについて何か学びを得たいと思い参加させていただきました。

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

≪上記、問いへのコメント≫ 矢沢国光(やざわくにてる)

(1)私が足立ろう学校に勤務していたとき、「手話読み取り機」を開発中という若い人が学校にやってきて、試作品を見せてくれました。手や腕にセンサーをつけて、手指の動きから手話を読み取る、という原理でした。簡単な単語をいくつか読み取ることができて、何かのコンテストに応募したら賞をもらったといってました。その後の進展は、聞いていません。
(2)最近、ろう学校の卒業生5名(52歳くらい)とZoomで「同窓会」をする機会がありました。Zoomは、卒業生のA君が準備してくれましたが、彼は、UDトークというアプリを使って、字幕が画面に出るようにしました。私は、手話と音声を使って話しましたが、音声が字幕になって表示され、ほとんど正しく変換されていました。A君は、家でテレビを見るとき、UDトークを使ってテレビの音声を日本語に変えて見ている、誤変換もあるが、結構役だつと言ってました。
(3)ろう者、難聴者が何を欲しているか、それがアルファであり、オメガです。往々にして、機械がまずあり、それがどう役立つか考える、となりがちですが。
(4)UDトークのような日本語の音声→文字は、AIのおかげで進化しました。でも、誤変換がまだ多いようです。高校にインテしたろう生徒が、補助者に誤変換を訂正してもらいながら使っていると聞きました。ろう・難研では、音声→日本語の変換機械はまだ実用にならないので、当会の研究会のときの文字通訳は、パソコンによる文字変換を二人一組の文字通訳者にやってもらっています。
(5)手話→日本語文字は、いきなり日本手話→日本語は、難しいでしょう。「日本語の手話」→日本語からはじめるのが常識的です。(手話単語→日本語単語、から始めるのがよいかもしれません)。「日本語の手話」にも、①栃木の同時法のように、厳密に日本語単語を手話単語に1対1で対応させるものから、②日本語の語順に手話単語を並べるものまであります。①の方が②より容易のようにも見えますが、AIを組み込むと、どうか。
(6)上記(5)の①も②も、ろう者、難聴者の多くは読話を併用します。口唇の動き→日本語も必要になるでしょう。
(7)重度聴覚障害者の音声は、初めての人にはほとんど聞き取れない、しかし、慣れてくると聞き取れる、ということがあります。AIを使って、重度聴覚障害者の音声を日本語文字に転換する機械があれば、発音指導にも使えるし、コミュニケーションにも役立つかもしれません。
(8)日本手話→日本語となると、手話の位置、視線、NMSなど、さまざまな要素が絡んできます。この研究が、日本手話の統語構造の分析に役立つかもしれませんね。(以上)