音声認識翻訳 & 聞き取り認識翻訳

Speech To Trance(STT)  &  Read to Trance(RTT)

mixerstream[JP](β)の管理人であるVTF氏が作製した翻訳ツールです。

STT(音声認識翻訳) 

 RTT(聞き取り認識翻訳)

MSJP管理部屋での こちらのページを参考にしました。

STT(音声認識翻訳) & RTT(聞き取り認識翻訳)セットアップ方法【日本語】

VTFさん製翻訳ツールのレビュー


こちらのツールを使用するには、Mixer(ミクサー) のアカウントとmixerstream[JP](β)

連携が必要です。

Mixer(旧Beam.pro)配信


Mixer でしか使えないわけではありません。


STT(音声認識翻訳) & RTT(聞き取り認識翻訳)セットアップ方法【日本語】

こちらのサイトにて

仮想オーディオデバイス2種

オーディオルーティングソフト

ポータブルChrome x2  を ダウンロード、インストールしてください。

ダウンロードしたものを フォルダー名STT.RTT を 作って中に入れて

保存しておくと便利です。 (フォルダーの名前は任意のものでいいです)

VirtualAudioCable は 解凍後、フォルダーの中の VBCABLE_Setup_x64.exe

右クリックから管理者として実行(A)クリックにて実行してください。

Google Chrome Portable は、Dドライブに STTとRTTなどのフォルダーを作って その中に入れて 2つ  使えるように しておいてください。

STT と RTT の設定は、VTFさん製翻訳ツールのレビュー  こちらを参考にしてください。

詳しく書いてます。

【補足】

最初に Mixer連携ログイン から連携をしてください。

再起動後などたまに 連携解除になってる場合があるので、注意してください。

STTやRTTを開いて右上の設定(S)から

起動時の特定のページまたはページセットを開く にチェックして開いてる設定画面のURLを指定したり ブックマークに登録しておくと便利です。

2つの GoogleChromePortable.exe の名前を  STT  と  RTT  などに 書き換えておくと

区別しやすいです。


【My設定】(参考までに)

STTとRTT同じです。(一部違う所あります)

<SubTitle Option>

認識文字 Option

Font; (STT)     Noto Szns Japanese   (RTT) Varela

FontColor:  FFFFFF(白)

EdgeColor:  2D4C68(藍色)

Custom CSS  margin:30;font-size: calc(110% );margin-left: 3px

<翻訳文字 Option>

Font; (STT )    Varela   (RTT)  Noto Szns Japanese

FontColor: FFFFFF(白)

EdgeColor:  2D4C68(藍色)

Custom CSS  margin:30;font-size: calc(125%);margin-left: 3px  

margin:30 は上部の空白をどれだけ作るか

font-size: calc(125%) は 文字の大きさ

margin-left: 3px は左端からどれだけ空白を作るか

認識文字を出力するにチェック

翻訳結果を出力するにチェック

設定を変更した場合必ず APPLY クリックして保存をしてください。


【配信ツールの設定】

STT(音声認識翻訳)にて自分が喋った言葉を配信画面に英語(他の言語)表示させる方法です。

この方法により海外の人々とコミュニケーションがとれやすくなります。

できるだけ ゆっくり正確にハッキリ喋るようにしてください。

STT を開き 字幕ソースページをクリック 上部のページのURLを

HTML5コメジェネ ブラウザのURL に貼り付けてください。(OBS系)

Xsplit は、Paste にて貼り付けてください。

幅 520

高さ 200

上部の [JP]-[EN] が邪魔な場合は、クロッピングやクロップなどで消去できます。

OBS系は、ブラウザ右クリックからフイルタ クロップ/パッド にて

Xsplit は、レイアウトークロッピー にて


 RTT(聞き取り認識翻訳)の設定も ほぼ同じです。

RTT を開いて海外のゲーム実況者さん達の放送を視聴すると

英語なので喋ってる言葉が、日本語になって配信ツールなどに

HTML5コメジェネによりて表示されます。

完璧ではありませんが、かなり頑張ってくれます。(笑)

このような使い方もできます。

RTTを配信中に使うには、配信中の英語でのコメントを 正確に棒読みちゃんが喋ってくれる設定をする必要があります。


棒読みちゃんで英語を読み上げる方法は、こちらを参考にしてください。

日本語と英語を別の音声認識で読み上げる

英語をきちんと読み上げさせる事ができれば、STTとRTTを起動させて

自分が話した言葉を英語で画面に表示し 英語でのコメントを日本語化して同じく

配信画面に表示させることができ海外の方達とコミュニケーションがとれやすくなります。


【サウンドなどの設定】

STT、RTT を開いて(起動)しておいてください。

左下ウインドウズマーク 又は、Windows(ロゴ)キー クリックから歯車マークの

設定画面を開きます。

システムーサウンド から 下の方

サウンド詳細オプションをクリック

STT Google Chrome  の出力を CABLE Input 入力を マイク

RTT Google Chrome  の出力を ライン(yamaha NRTDUETTO)

入力を VoiceMeete Aux Output  に設定。

右下のスピーカーマーク右クリックから サウンド を クリックにて開いてください。  

【再生】

インストールしたデバイスをクリックして 詳細 の部分 既定の形式を

16ビット、480000 Hz(DVDの音質) 又は 16ビット、441000 Hz(CDの音質)に変更してください。(ライン yamahaは、変更せずに)

【録音】

普段使っているマイクを既定値に設定

追加したデバイス(4つ)をクリックして 聴く を開く

このデバイスを聴く にチェックを入れて ヘッドセット などの配信で使用するデバイスを指定してください。

<Xsplitの場合>

棒読みちゃんを 起動後 F10を押して設定画面を 開き    

 システム ー音声出力デバイス 

クリックにて  一番上の Microsoft サウンド マッパー をクリックしてOK を押してください。

Xsplit での設定追加はなくても棒読みちゃんの声が追加されます。

<OBS系の場合>

棒読みちゃんを 起動後 F10を押して設定画面を 開き  

システム ー音声出力デバイス クリックにて

ライン(yamaha NRTDUETTO)をクリックして OK を押してください。

OBS系の配信ソフトの設定ー音声ーマイク音声デバイス 2 に 

ライン(yamaha NRTDUETTO)を追加してください。

この追加にて棒読みちゃんの声が追加できます

 *この設定にすると棒読みちゃんは、ヘッドセットなどのデバイスからでしか聴けなくなります。

戻すときは、棒読みちゃんの 音声出力デバイス  Microsoft サウンド マッパー  をクリックしてOK を押してください。


【STT(音声認識翻訳)の使い方】

STTを起動させます。 サウンドの再生デバイスを配信で使用するデバイスを指定してください。(ヘッドセットなどの)

録音部分は、マイクを指定してください。

配信画面に英語などに訳されたコメントを表示させたい場合は、SubTitle Option の 翻訳結果を出力するにチェックを入れます。

認識文字を出力するに チェックをすると自分が話した言葉が日本語で表示されて

正しか確認することができます。

配信開始前に、一言「テスト」など言ってみてコメントがちゃんと表示されているか 

確認してください。

海外からのコメントは、グーグル・クロームで日本語化して確認します。

RTTは、使用しません。

【RTT(聞き取り認識翻訳) の使い方】

RTT を起動します。サウンドの再生デバイスを VoiceMeeter Aux Input  に変更。

SubTitle Option の 翻訳結果を出力するにチェックを入れます。

配信ツールを起動します。

英語のコメントを棒読みちゃんが読み上げ その音声を、  聞き取り認識翻訳して日本語で表示させます。

その他に、視聴したい海外のゲーム実況のライブ画面を開きます。

サウンドー録音ーこのデバイスを聴くで設定したデバイス(ヘッドセッ)などで聴きます。

実況者のコメントが日本語化して配信ツールのHTML5コメジェネにより表示されます。

但し、完璧なものではありませんが・・・

文字の色を黒など白以外にして RTTの画面の字幕ソースページをクリックにてURLをコピー

他のブラウザのURLに貼り付けてコメントを確認することもできます。

【注意】

ゲーム内の英語音声を 日本語にして配信画面に表示する場合があります。


GoogleChromePortable.exe を STT と RTT だけでなく、配信サイトのURLやコメントの

ポップアウトのURLを貼るなど 色々な便利な使い方もあります。


Audio Switcher

既定の再生デバイス / 録音デバイス を、簡単な操作で変更できるようになります。

ホットキーで変更

Settings の上3箇所にチェックを入れることで

PC 起動時に、Audio Switcher  を自動で起動してタスクトレイに最小化した状態で設定できます。


XsplitでHTML5コメジェネを使う方法

OBS Studio<Win版> コメジェネ導入方法


BURIKIYA.GAME BASE ブリキ屋ゲーム基地


ブリキ屋 ゲーム基地

赤文字は、全てリンクされています。

0コメント

  • 1000 / 1000