メインコンテンツまでスキップ

音声翻訳

音声翻訳機能を使用すると、VR内で字幕を見るように、ゲーム内や音声通話で相手が話す言葉をリアルタイムで聞き取れるだけでなく、自分の声もリアルタイムで翻訳して他人に伝えることができます。完全にローカルで動作し、音声をアップロードする必要がなく、プライバシーも安全です。

機能概要​

音声翻訳は2つのオーディオストリームを同時にキャプチャして認識し、それぞれ独立に翻訳します：

  • スピーカーチャネル（ループバック収集）：ゲーム内、音声通話、会議で他人が発する声を収集し、認識後に母語へ翻訳して眼前にオーバーレイ表示し、「リアルタイム字幕」を実現します。
  • マイクチャネル：自分が発した言葉を収集し、認識後に目標言語（英語など）へ翻訳します。多言語ソーシャル（VRChatなど）で外国のプレイヤーと交流する際に便利です。

両チャネルの認識言語、翻訳言語、表示スタイルはそれぞれ独立して設定でき、互いに干渉しません。

動作原理​

音声翻訳は、メインプログラムと独立したASR（自動音声認識）ワーカープロセスが連携して実行します：

  1. メインプログラムは名前付きパイプでASR子プロセスと通信し、マイクとスピーカー（システムループバック）のオーディオを収集します。
  2. ASR子プロセスはSilero VADでリアルタイムに音声活動を検出し、一文の開始と終了を自動的に区切ります。
  3. 検出された音声断片はQwen3-ASRモデル（llama.cppに基づく純粋なCPU推論）でローカルに文字へ書き起こします。
  4. 書き起こし結果は翻訳エンジンで翻訳され（ローカル翻訳モデル、または設定したカスタム翻訳APIに対応）、その後、メインプログラムのオーバーレイでリアルタイム表示されます。

このプロセス全体がすべて自分のマシンで完結し、音声はパソコンから外部へ送信されません。

音声ソース​

  • マイク：自分の声を収集します。デバイスリストには利用可能な入力デバイスが表示されます。
  • スピーカー（ループバック収集 loopback）：システムが再生中の音声、すなわちゲームや音声通話中の相手の声を収集します。

音声翻訳設定ページの「オーディオデバイス設定」カードで、マイクとスピーカーにそれぞれ特定のデバイスを選択できます（「デバイスリストを更新」をクリックすると、利用可能なデバイスを再列挙できます）。

自動言語認識​

音声認識言語はデフォルトで「自動」に設定されており、この場合ASRが現在の会話言語を自動的に判断するため、手動で切り替える必要はありません。特定の言語での認識精度を向上させたい場合は、設定でスピーカーとマイクにそれぞれ固定の認識言語を指定することもできます。

ストリーミング出力​

「ストリーミング出力を模擬する」を有効にすると、認識結果が約1秒間隔のインクリメントでリアルタイム表示されます（まず中間結果が表示され、最終結果が安定した後に置き換えられます）。表示がよりリアルタイム字幕らしくなります；無効にすると、一文の認識完了後に一括で完全に表示されます。音声翻訳設定でいつでも切り替えられます。

一時停止と再開​

音声翻訳モードで、トリガーを1回短押しすると一時停止 / 再開できます。一時停止時もモデルはメモリに保持されるため、再開時に再ロードする必要がなく、高速です。左手または右手のジョイスティックを傾けると、現在表示されている音声翻訳結果をクリアできます。

モードでの詳細な操作リズムは、ソフトウェア内蔵のVR分步教学で慣れてください。

翻訳エンジンの選択​

音声翻訳の翻訳エンジンは2つのモードから選択できます：

  • ローカル：付属のHy-MT2ローカル翻訳モデルを使用してオフライン翻訳します。ネットワーク接続もAPIキーも不要で、完全にローカルで動作します。ローカルモデルはデフォルトで30秒アイドル状態が続くと自動的にアンロードされてメモリを解放し、次回必要なときに必要に応じて再ロードされます。
  • カスタム：自分のAPIキーを使用してサードパーティの翻訳サービス（汎用機械翻訳またはLLM大規模モデル）に接続し、より豊富な言語と品質の選択肢を得られます。

注意：音声翻訳は現在、「内蔵翻訳サービス」モードをサポートしていません。ローカルモードまたはカスタムモードのみ対応です。「翻訳エンジン」ページの「音声翻訳エンジン設定」カードで設定してください。

VRChat Chatbox送信​

有効にすると、音声翻訳結果をOSCプロトコルで自動的にVRChatのChatboxチャットボックスへ送信し、翻訳をVRChatのインターフェースにリアルタイム表示できます。個別に制御できます：

  • スピーカー（相手の発言）の訳文を送信するかどうか
  • マイク（自分自身の発言）の訳文を送信するかどうか
  • OSCポート（VRChatのデフォルト受信ポートは9000）
  • メッセージモード：対照モード（訳文が上、原文が下）または訳文のみモード
  • メッセージ保持件数（1〜10件）

VRChat Chatboxの制限により、1つのメッセージは最大約135文字、最大9行で、長すぎる内容は自動的に改行されます；また、送信間にも最小間隔があるため、チャットボックスを安定して表示できます。

メモリ要件​

  • 音声認識モデル：「高速（0.6B）」を選択すると約2.5GBの空きメモリが必要です；「高精度（1.7B）」を選択すると約3GBの空きメモリが必要です。システムの空きメモリが不足している場合は、プロンプトが表示され、ロードをスキップします。
  • ローカル翻訳モデル（Hy-MT2）：ローカル翻訳を有効にすると、必要に応じてモデルが追加でロードされるため、十分な空きメモリを確保してください。

CPU推論のコア数は設定で調節できます（範囲1〜デバイスコア数、デフォルト4）。コア数が多いほど認識・翻訳速度が向上しますが、より多くの計算リソースを使用します。

使用手順​

  1. ソフトウェアがインストールされ起動していること、VRデバイスが動作中であることを確認します。
  2. 基本設定で「起動時に自動で音声翻訳を有効化」をオンにします（または実行後に音声翻訳モードで手動でオンにします）。
  3. 翻訳エンジンページの「音声翻訳エンジン設定」で、ローカルまたはカスタム翻訳エンジンを選択して設定を完了します。
  4. 音声翻訳設定ページで、マイクとスピーカーデバイス、認識言語、翻訳言語がすべて正しく設定されていることを確認します。
  5. VR内（音声翻訳モード）でトリガーを約1秒長押しして音声翻訳をオンにすると、相手や自分の訳文をリアルタイムで確認できます；トリガーを短押しすると認識を一時停止 / 再開できます。

各設定項目の詳細な説明は、音声翻訳設定を参照してください。