2018年01月14日

音声入力しながら音読して発音チェック

クリエイティブ・コモンズ・ライセンス


画像2018.png

冒険家の皆さん、今日も髪の毛が蛇でできているモンスターを見て石になっていますか?

【CBLL(Content-Based Language Learning)には時期尚早?】
さて、前に音声入力がすごいということを書きましたが、このとき思ったのは「ここまで変換精度が上がっていたら、ドラマやアニメの声を学習者が自分で文字化して勉強することができるかもしれない」ということでした。実際に、 Twitter では日本語の教科書のCDを文字化する時にこの音声入力を使っているという書き込みもありました。(すみません、今検索したら見つからなかったのでソースはありません)

でも実際に、「シンゴジラ」の冒頭の部分を iPhone に聞かせてみたら全くダメでした。多分 Googleでも駄目だと思います。文字入力用にはっきり発音するのとは、ドラマやアニメの音声は全く違うのです。もしかしたら、アナウンサーが発音するニュースの音声ぐらいは文字化できるかもしれませんが、エンターテイメントの分野ではまだまだ先になりそうです。 ・・・と思っていたのですが、今ニュースを聞かせてみたらやっぱり文字化はうまくできませんでした。もしかしたらスピーカーを通すと何か問題があるのかもしれません。

【音読ならどうだろう】
それで、日本語教育の現場でこの音声入力を利用するとしたら他に何があるだろうかと考えてみたのですが、音読はかなり有望ではないかと思っています。音声入力をすると今までの音読の意味が全く違ってくるのではないかと思うのです。

なぜなら、音読に対しては何のフィードバックもないのが普通だからです。いや少なくとも今まではそれが普通でした。しかし、音読の時に音声入力を一緒に使えば、それが正しく発音されているかどうかを確認することができます。もちろん、音声入力はまだ100%の正確さではありませんから、ネイティブスピーカーの耳に比べれば完璧ではありません。しかし、以前とは比べ物にならない精度なので、音読のフィードバックとしては十分に役に立つ思います。少なくとも、僕の英語の勉強には役に立ちそうなことがわかりました。

なぜ、自分の言いたいことを言うのではなくて、音読がいいのかと言うと、音声入力は文法的な間違いなどもあると発音が正しくても正確に文字に変換されないからです。でも、音読の場合はすでにモデルの文があるので、発音の問題だけに特化することができます。

音声入力を使いながら音読をする場合、相手はコンピューターなので、どれほど発音が下手でも恥ずかしくありません。そして、1日24時間いつでも相手になってくれます。これは、人間の語学教師にはとても真似のできない能力です。

例えばYouTubeのTEDトークには、そのスクリプトも書いてありますし、日本語訳も書かれています。発表者の英語を聞いた後で、スクリプトに目を通し、それを音声入力で書くのです。英語の練習になるだけでなく、プレゼンの練習にもなりますよね。

今まで、僕自身はあまり音読という練習方法をしてこなかったのですが、これを機会にちょっと続けてみたいと思います。音読の効果がどのぐらい実証されているのかもこの機会に調べてみたいと思います。

ざっとGoogleスカラーを見た感じでは、音読の効果は記憶の面でいろいろ検証されているようです。しかし、こうしたフィードバックがあることによって、発音を習得する効果があるかはよくわかりませんでした。詳しく調べてみたらちゃんとした研究があるのかもしれませんが、あまりたくさんの引用されているような有名な研究は見つかりませんでした。詳しい方がいらっしゃいましたら、ぜひコメントで教えてください。

いくつか見つかった文献のうち、2009年の東京大学の研究などについて参考資料のところにあげています。 僕は音声学の研究についてはあまり詳しくないのですが、この当時から学習者の音声を分析して、それがどのぐらい標準的なものから外れているのか機械的に検出するということは可能だったようです。ただ、 少なくとも今の音声入力のように、誰もが無料で使えるようなものではなかったことは確かでしょう。

これからの音読は東京大学の研究所だけではなく、普通の日本語学校でもインターネットさえあれば、音声入力でリアルタイムのフィードバックが得られるわけですから、今まで音読が学習者の発音を良くする効果が認められたという研究結果がなかったとしても、試してみる価値はあるのではないでしょうか。また、研究者の方には音声入力のフィードバックのある音読とそうしたフィードバックのない音読の違い等についても効果を比較していただければ大変ありがたいです。大学院などで、研究のネタを探している人、いかがでしょうか。もし、すでにこうした研究があれば是非コメント欄で教えてください。

【実際にやってみました】
さて、先ほど僕が英語のTEDトークのスクリプトを見ながら音声入力してみたところ、「th」の音が「s」に聞こえてしまうという傾向がはっきりわかりました。こういう事は、あまりネイティブキャンプなどのオンラインレッスンでは指摘してもらえません。というか指摘してもらった事はありません。つまり、それだけでも、音読を音声入力と一緒にやってみる事は、少なくとも教師のいないところでの発音の習得には役に立つと言えますし、ネイティブキャンプでは誰も指摘してくれなかったことを考えると、もしかしたら普通の語学教師よりも優秀である可能性すらあります。

上記のTEDトークで僕が文字起こししたスクリプトは、残念ながら保存する前に消してしまったので、以下に別の例をご紹介します。

こちらはスターウォーズのエピソード7の冒頭で、宇宙を背景に流れる説明の文章の一部を Google ドキュメントの音声入力で文字化したものです。正しく音声入力できなかったところは、括弧で示しています。まずは僕の母語である日本語を音声入力してみた結果をご紹介します。句読点はキーボードで入れました。

「ルークスカイウォーカーは姿を消した。彼の不在の中、帝国の残党から立ち上がった邪悪なファーストオーダーは、最後のジェダイであるスカイウォーカーを殺すまで手を緩めるつもりはない。共和国の支援を得て、レイアオーガナ将軍は勇敢なレジスタンスを式(指揮)。兄であるループ(ルーク)を見つけ出し、彼の力を借りて銀河系に平和と正義を取り戻そうと必死だ。 」

一箇所、「ルーク」になるべきところが「ループ」になってしまっていますが、それ以外は聞き取りとしては完璧です。(なお、今僕が書いたばかりの前の文では、はっきり発音したので、キーボードではなく音声だけでこの二つの言葉の違いを入力することができました。) 「聞き取りとしては完璧」と書いたのは、「レジスタンスを式。」は正しくは、「レジスタンスを指揮。」 だからです。つまり聞き取りとしては間違っていませんが、漢字変換が間違っているわけですね。

同じ文を iPhone を使って音声入力してみると、以下のようになります。

「ルーク・スカイウォーカーは姿を消した。彼の不在の中、帝国の残党から立ち上がった邪悪なファーストオーダーは、最後の時代(ジェダイ)であるスカイウォーカーを殺すまで手を緩めるつもりはない。
共和国の支援を得て、レイア・オーガナ将軍は勇敢なレジスタンスを色(指揮)。兄であるルーツ(ルーク)を見つけ出し、彼の力を借りて銀河系に平和と正義を取り戻そうと必死だ。」


iPhone の音声入力も、 Google と全く同じで、「レジスタンスを指揮。」とすべきところの漢字変換が間違っています。 iPhone の場合は「式」ではなく「色」でしたが。また、「ルーク」としなければならないところが「ルーツ」になっているのも、 間違え方は違いますが、うまく音声を文字に変換できなかったという意味では全く同じです。

ここでは、「固有名詞がうまく音声から文字に変換されない」という点と、「体言止めの部分は正しく聞き取れていても正しい漢字に変換されない」という点で、 Google も iPhone も全く同じです。

iPhone の方は、「ジェダイ」とすべきところを「時代」としているので、固有名詞の語彙の多さは、もしかしたら Google の方が勝っているのかもしれません。

同じ内容の英文を僕が読み上げてみると、以下のようになります。最初は Google の音声入力です。

Luke Skywalker has vanished. In his absence, Justin Easter(the sinister) first order has risening(risen) from the ashes of the Empire and will not rest until Skywalker, The Last Jedi, as(has) being(been) destroyed.
With the support of the Republic, General Leia Organa leaves(leads) a brave resistance. She is desperate to find her brother Luke and again(gain) his help in restoring peace and Justice to the Galaxy.


「Jedi」とか「Leia Organa」のような固有名詞はちゃんと変換されているのに、一般的な語彙が変換されないのは、僕の発音に問題があるのではないかと思います。ここでも「th」の発音が甘いという傾向がはっきり見て取れます。

以下は同じ文を iPhone で音声入力したところです。

Luke Skywalker have vanished. In his absence, the sinister first order has rising(risen) from the Empire and we(なし) will not rest until Skywalker, the last visit I(Jedi), has been destroyed.
With the support of republic, General Leah or gonna(Leia Organa) leave(leads) a brave new registrants. She is this the right(desperate) to find her a brother Luke and getting(gain) his help in restoring peace and justice to the galaxy.


ここでは、「Jedi」とか「Leia Organa」という固有名詞が変換されてない部分は もしかしたら iPhone の限界なのかもしれませんが、 Googleドキュメントの時と同じように「leads」「risen」「gain」が共通してうまく文字変換できていないので、 この部分は僕の発音が問題なのだと認識することができます。 単語の最後の N と NG の発音の違いもあまりクリアではないかもしれないということも、ここからは分かります.

このように、少なくとも僕の英語の発音の問題点を検証するには、この音声入力は非常に役に立ちそうです。おそらく日本語学習者にとっても同じような使い方は可能なのではないでしょうか。

そして冒険は続く。

【参考資料】
「シャドーイング・音読発音評価を目的とした話者適応の分析と応用」 徳安 喬宇 峯松信明 山内豊 広瀬啓吉

【コメントはソーシャル・メディア上の記事別ページヘどうぞ!】
https://www.facebook.com/MurakamiTheAdventurer/posts/2002432940044514
https://twitter.com/Midogonpapa/status/952270043680665600
https://plus.google.com/+YoshifumiMURAKAMI/posts/KN79cN1RnEu
https://www.youtube.com/watch?v=fyEXzXqKW2Y&list=PL8xNAgRaT_iRij1eZPuEGwPUC66SHYole&index=1

【電子書籍「むらログ」シリーズを購入して外国にルーツを持つ子どもたちを支援しよう!】
2014年以降のこのブログの内容はKindle本にもまとめられています。2018年中にこちらの本をご購入になると、その収益は全額が「外国にルーツを持つ子どもと若者のための日本語教育・学習支援事業」を実施しているNPO法人青少年自律援助センターに寄贈されます。電子書籍はスマートフォンのアプリでも読むことができます。
http://amzn.to/2mfh46q

posted by 村上吉文 at 04:50 | 日本語hacks! | このエントリーをはてなブックマークに追加