フルスタックエンジニアを目指す|株式会社ナンバーワンソリューションズ

フルスタックエンジニアを目指す

AI PG

英語→日本語への翻訳に挑戦

投稿日:

今回はTensorflowを使い翻訳に挑戦してみたいと思います。
英語と日本語の文章でトレーニングさせていきます。そのためのデータはTatoebaプロジェクトの英語から日本語への翻訳文を使い行います。

 TensorFlowにはmodelという非常に便利なフォルダがあるがその中の1つに今回のデータのトレーニングで使うseq2seqがある。
このモデルを使うために以下の作業でインポートする必要がある。

英語と日本語の語彙を作成するために最も出現頻度の高い単語を10000単語ずつ選択。残りをラベル0とする。

異なる長さの文章ごとに別モデルを作成する。このようにすることで短い文字にたいする埋め文字の影響を短くすることができる

最低限の単語の翻訳ができることを確認できた。トレーニングする語彙を増やしていけば今後さらに精度が上がっていくものと思われる。
今回作成しながら思ったのは1回動かした際にかかる時間が長い!!
AIマスターになるには根気も必要なのかなと思う今日この頃です。

-AI, PG

Copyright© フルスタックエンジニアを目指す , 2019 All Rights Reserved Powered by STINGER.