人工知能 (AI)最前線〜完全自動でのマンガ翻訳に向けて〜

こんにちは😃えびならいふです。

今日の話は人工知能関連の研究で面白そうな話を見つけたので紹介。
そんなに難しい話はしないので、今の人工知能ってこんなこともやってるんだと思って欲しい。

今回の題材はズバリ「マンガ翻訳」！！！
もう聞くからに面白そう。

自動翻訳はみんながよく使っているGoogle翻訳や最近だとDeepLなんかがあったりするけど、それをマンガでやってしまおうというもの。
普通の翻訳であればテキストから翻訳するけどもマンガ翻訳の場合は画像からテキストを読み取って翻訳するためより難易度の高い翻訳になる。
説明ダラダラ書くより例を見ていった方が良いと思うのでここからは例を中心に見ていく。

まず今回紹介していくマンガ翻訳は以下の論文が元になっている。
arxiv.org
AAAIという人工知能系のトップレベルの国際会議で発表された論文らしい。
ちなみにMantraというベンチャー企業で研究開発されているらしい。
マンガ翻訳だけでなく、マンガを使って言語を学ぼうという取り組み (Langaku)もやっているらしいので、こっちも興味ある人はテスター募集してるので応募してみてはどうでしょう。

マンガ翻訳は下の例を見てもらえるとどんなものかすぐわかると思うが、マンガのコマを入力するとそれを他の言語*1に翻訳して出力するものだ。

どこに翻訳すべきテキストが入っているかを判断する必要があったりして難しい問題があることがわかる。

マンガを翻訳する場合はテキストだけでなく、画像の情報も翻訳のヒントとなるため重要。
キャラクターが女の子なのか、複数いるのか等。
イメージだけ掴んでもらいたいので詳細は省くが、この論文中では下の図のように画像をタグ「1GIRL、1BOYなど」のようなものにして翻訳する際に使っている。

マンガ翻訳自体は他にもいろいろな難しい問題や課題があったりするのだが、話が複雑になっていくのでこのあたりにして、最近のAIってこんなこともしてるんだっていうのが伝われば。
最後に面白い例があったのでこちらだけ紹介。
さっき紹介したマンガのコマにタグをつけて翻訳するのだが、タグをつける技術の性能が不十分で間違ってタグをつけてしまうことがある。
下の例では、髪の毛のない人と寝ている男の子がいるのだが、間違えて「MULTIPLE GIRLS」のタグをつけてしまいその結果翻訳も間違うということが起きている。
奥で寝ている男の子のところに適当な男の人の画像にすることでタグをつけたときに「1BOY」となり、結果的に翻訳がよくなるということが起きている。

このようにマンガのコマの情報を使うと言ってもまだまだ課題もたくさんあるということがわかる。

これからどんどん発達していく技術に注目したい。

最後にちょっとだけ紹介。
自然言語処理とか機械翻訳に興味がある人はこの本がオススメ！
2冊目はかなり専門的なので、初心者の人は1冊目の方が良いかもしれない。