手順

• 1-1. リリース一覧ページへアクセス: https://github.com/usagi/virtual-avatar-connect/releases
• 1-2. その時点で最新っぽいものの「バージョン名」または「Assets」をクリックして添付されたファイルの一覧が表示された状態にします。†1
• 1-3. "virtual-avatar-connect-x.x.x(-alphaやbetaが付く場合もあり).zip"をクリックしてダウンロードします。†2
• 1-4. .zipの中身をお好みの場所へ展開します。†3

手順

• 2-1. "virtual-avatar-connect.exe" を直接、またはお好みで作成したショートカットなどから起動します。
• 2-2. ブラウザーで標準の入力画面 http://127.0.0.1:57000/input または標準の出力画面 http://127.0.0.1:57000/output にアクセスします。
• 2-3. それらしい画面が表示されていれば動作確認は成功です。
• 2-4. 初期状態の設定ファイルでは《コマンド》プロセッサーを含むすべてのプロセッサーが無効化されているため、何か素敵な方法でVACを終了させる手段はありません。VAC本体が動作している"クロイガメン"で CTRL + C キーを押すか、それが動作しているウィンドウの閉じるボタンを押して VAC を終了させましょう。
• 2-5. (2-2.)で表示した入力画面または出力画面をリロードして、表示されなくなっていれば VAC は終了できています。

手順

• 3-1. VAC を起動します。
• 3-2. ブラウザーのウィンドウまたはタブへ標準の入力画面 http://127.0.0.1:57000/input を開きます。
• 3-3. ブラウザーの別のウィンドウまたはタブへ標準の出力画面 http://127.0.0.1:57000/output を開きます。
• 3-4. 入力画面の上部の「音声認識(１回)」のチェックを ON にします。†1†2
• 3-5. マイクなどから音声を認識すると認識されたテキストが1回だけ表示されます。
• 3-6. 認識されたテキストが表示された入力欄の右側にある「POST」ボタンを押すとテキストを VAC へ入力できます。†3†4

手順

• 4-1. VAC を起動します。
• 4-2. ブラウザーのウィンドウまたはタブへ標準の入力画面 http://127.0.0.1:57000/input を開きます。
• 4-3. ブラウザーの別のウィンドウまたはタブへ標準の出力画面 http://127.0.0.1:57000/output を開きます。
• 4-4. 入力画面の下部の「画像認識(１回)」のチェックを ON にします。†1
• 4-5. 文字が写るスクショをクリップボードへ撮影し（Windows:Win+Shift+S）、 入力画面の "Paste or Drop image here -> Recognize the Text" と書かれたあたりへ貼り付け（Windows:CTRL+V） します。 認識されたテキストが1回だけ表示されます。†2
• 4-6. 認識されたテキストが表示された入力欄の右側にある「POST」ボタンを押すとテキストを VAC へ入力できます。

手順

• 5-1. 《Screenshot》と《OCR》のシンプルな設定例の設定ファイル "conf.example-ss-ocr.toml" を "virtual-avatar-connect.exe" へドロップして VAC を起動してみましょう。

  コマンドラインでは `./virtual-avatar-connect conf.example-ss-ocr.toml` です。コマンドラインでの使い方は `--help` で確認できます。

  この設定ファイル "conf.example-ss-ocr.toml" の中身はこうなっています。👀

  # ← これを書いた行は「コメント」になります。設定ファイルの中にメモを書き残したいときに使うと便利です。 # スクリーンショット(ウィンドウのスクショを撮影→ファイルに保存してファイルパスを送信) # ↓ これを書くと「ここから特定のプロセッサーの設定をはじめるよ」という意味になります。 [[processors]] # 「今回は "screenshot" タイプのプロセッサーを使うよ」という意味になります。 feature = "screenshot" # 着信を受け取るチャンネル名 channel_from = "ss" # 結果を出力するチャンネル名 channel_to = "ocr" # スクショを撮影したいウィンドウのタイトルに含まれる文字列を記入します # とりあえずシンプルな「メモ帳」などで試してみましょう。 # この設定項目では . ? * ( ) \ $ ^ などの文字は特別な用途(正規表現)で使われるので、よくわからなければ今はそうした文字が入らない設定を試してみましょう。 title_regex = "ここにキャプチャーしたいウィンドウのタイトルに含まれる文字列を記入します" # スクショの保存先を指定します。 paths = [ "ss.png" ] # OCR(画像認識→テキスト) [[processors]] channel_from = "ocr" channel_to = "description" feature = "ocr" # 日本語の文字を読み取りたい場合は "ja_JP" 、USA英語なら "en_US" のように設定します。 lang = "ja_JP" # 入力として Screenshot などチャンネルの前段階のプロセッサーが出力した内容を受け取りたい場合は true にします。 load_from_content = true
• 5-2. VAC を起動します。
• 5-3. ブラウザーのウィンドウまたはタブへ標準の入力画面 http://127.0.0.1:57000/input を開きます。
• 5-4. ブラウザーの別のウィンドウまたはタブへ標準の出力画面 http://127.0.0.1:57000/output を開きます。
• 5-5. 入力画面の上または下、今回はどちらでもよいので送信先のチャンネルを ss に設定します。
• 5-6. 送信チャンネルを設定した隣にある POST ボタンを押します。†2

手順

• 6-1. 《OS-TTS》のシンプルな設定例の設定ファイル "conf.example-os-tts.toml" を "virtual-avatar-connect.exe" へドロップして VAC を起動してみましょう。

  コマンドラインでは `./virtual-avatar-connect conf.example-os-tts.toml` です。コマンドラインでの使い方は `--help` で確認できます。

  この設定ファイル "conf.example-os-tts.toml" の中身はこうなっています。👀

  [[processors]] channel_from = "user-ja" feature = "OS-TTS" voice_name = "Haruka" tts_pitch = 1.0 tts_rate = 1.0 tts_volume = 1.0 [[processors]] channel_from = "user-en" feature = "OS-TTS" voice_name = "Ayumi" tts_pitch = 1.0 tts_rate = 1.0 tts_volume = 1.0
• 6-2. ブラウザーのウィンドウまたはタブへ標準の入力画面 http://127.0.0.1:57000/input を開きます。
• 6-3. ブラウザーの別のウィンドウまたはタブへ 2-ch-mix 出力画面 http://127.0.0.1:57000/output/2-ch-mix#user-ja`user-en を開きます。

  2-ch-mix など出力画面についてもっと知りたい場合は「使い方 12. 「出力画面」の作り込み」で紹介するので御覧ください。

• 6-4. 入力画面の上または下、今回はどちらでもよいので送信先のチャンネルを user-ja に設定します。
• 6-5. 入力内容に「こんにちは、VAC！」のように適当なメッセージを書きます。
• 6-6. 送信チャンネルを設定した隣にある POST ボタンを押します。音声合成と再生が行われ、ついでに出力画面にも表示されます。
• 6-7. 入力画面の上または下、今回はどちらでもよいので送信先のチャンネルを user-en に設定します。
• 6-8. 入力内容に「Hello, VAC!」のように適当なメッセージを書きます。
• 6-9. 送信チャンネルを設定した隣にある POST ボタンを押します。音声合成と再生が行われ、ついでに出力画面にも表示されます。

手順

• 7-1. CoeiroInk の準備 (導入済みの場合は飛ばして次へどうぞ)

  https://coeiroink.com/の「ダウンロード」から CoeiroInk をダウンロードしてお使いの環境に導入します。

  できるだけリアルタイムに応答を得たい方は「GPU版」を使うとよいです。

• 7-2. CoeiroInk を起動した状態で CoeiroInk の API が使用可能な状態か確認する http://127.0.0.1:50032/ にアクセスして {"status":"start"} と表示される状態を確認します。
• 7-3. 《CoeiroInk》のシンプルな設定例の設定ファイル "conf.example-coeiroink.toml" を "virtual-avatar-connect.exe" へドロップして VAC を起動してみましょう。

  コマンドラインでは `./virtual-avatar-connect conf.example-coeiroink.toml` です。コマンドラインでの使い方は `--help` で確認できます。

  この設定ファイル "conf.example-coeiroink.toml" の中身はこうなっています。👀

  # CoeiroInk デフォルト状態で音声合成 [[processors]] feature = "coeiroink" channel_from = "default" # 話者とスタイルを指定して音声合成 [[processors]] feature = "coeiroink" channel_from = "genki" # uuid や style_id は --coeiroink-speakers で表示できます。 speaker_uuid = "3c37646f-3881-5374-2a83-149267990abc" style_id = 6 # 長い文章を受け取った場合にもできるだけリアルタイム性を維持して読ませたい場合に区切りを設定できます。 split_regex_pattern = "[、。！？]"
• 7-4. ブラウザーのウィンドウまたはタブへ標準の入力画面 http://127.0.0.1:57000/input を開きます。
• 7-5. ブラウザーの別のウィンドウまたはタブへ 2-ch-mix 出力画面 http://127.0.0.1:57000/output/2-ch-mix#default`genki を開きます。

  2-ch-mix など出力画面についてもっと知りたい場合は「使い方 12. 「出力画面」の作り込み」で紹介するので御覧ください。

• 7-6. 入力画面の上または下、今回はどちらでもよいので送信先のチャンネルを default に設定します。
• 7-7. 入力内容に「こんばんは、こちらはデフォルトの音声です。」のように適当なメッセージを書きます。
• 7-8. 送信チャンネルを設定した隣にある POST ボタンを押します。音声合成と再生が行われ、ついでに出力画面にも表示されます。
• 7-9. 入力画面の上または下、今回はどちらでもよいので送信先のチャンネルを user-en に設定します。
• 7-10. 入力内容に「元気スタイルです。もし長い文章が入力されても、短い単位に区切って合成し、読み上げながら逐次並行して次の単位を合成することでリアルタイム性をある程度維持できます。」のように適当なメッセージを書きます。
• 7-11. 送信チャンネルを設定した隣にある POST ボタンを押します。音声合成と再生が行われ、ついでに出力画面にも表示されます。

手順

• 8-1. 棒読みちゃん の準備 (導入済みの場合は飛ばして次へどうぞ)

  https://chi.usamimi.info/Program/Application/BouyomiChan/からダウンロードしてお使いの環境に導入し起動します。

• 8-2. 棒読みちゃんを配置したフォルダーの中の RemoteTalk フォルダーに入っている RemoteTalk.exe までのパスを確認します。(設定に必要になります。)

  例: C:\Program Files (x86)\BouyomiChan\RemoteTalk\RemoteTalk.exe

• 8-3. 《Bouyomichan》のシンプルな設定例の設定ファイル "conf.example-bouyomichan.toml" の remote_talk_path に (8-2.) で確認した RemoteTalk.exe までのパスを設定します。

  version 0.2.0 以前のダウンロード用パッケージには "conf.example-bouyomichan.toml" は同梱されていません。必要に応じて作成または、https://github.com/usagi/virtual-avatar-connect/blob/main/conf.example-bouyomichan.tomlからダウンロードしてご用意下さい。

• 8-4. 《Bouyomichan》のシンプルな設定例の設定ファイル "conf.example-bouyomichan.toml" を "virtual-avatar-connect.exe" へドロップして VAC を起動してみましょう。

  コマンドラインでは `./virtual-avatar-connect conf.example-bouyomichan.toml` です。コマンドラインでの使い方は `--help` で確認できます。

  この設定ファイル "conf.example-bouyomichan.toml" の中身はこうなっています。👀

  [[processors]] channel_from = "user" feature = "bouyomichan" # 棒読みちゃんをインストールしたフォルダーの中にあるRemoteTalk.exeのパスを設定して使います remote_talk_path = 'C:\Users\the\Downloads\BouyomiChan_0_1_11_0_Beta21\RemoteTalk\RemoteTalk.exe' address = "127.0.0.1" port = 50001 voice = 2 speed = 68 tone = 133 volume = 100
• 8-5. ブラウザーのウィンドウまたはタブへ標準の入力画面 http://127.0.0.1:57000/input を開きます。
• 8-6. 入力画面の上または下、今回はどちらでもよいので送信先のチャンネルを user に設定します。
• 8-7. 入力内容に「こんばんは、棒読みちゃん。」のように適当なメッセージを書きます。
• 8-8. 送信チャンネルを設定した隣にある POST ボタンを押します。音声合成と再生が行われ、ついでに出力画面にも表示されます。

手順

• 9-1. Google Apps Script の準備 (翻訳用のGASを作成済みの場合は飛ばして次へどうぞ)

  9-1-1. https://script.google.com/にアクセスして「新しいプロジェクト」を作成します。

  9-1-2. 以下のコードを貼り付けて「プロジェクトを保存」(💾謎の古代の保存媒体のアイコンを押します)

  function doGet(e) { const params = e.parameter var translatedText = LanguageApp.translate(params.text, params.source, params.target); const output = ContentService.createTextOutput(); output.setMimeType(ContentService.MimeType.JSON); output.setContent(translatedText); return output; }

  9-1-3. 「デプロイ」→「新しいデプロイ」

  9-1-4. 「種類の選択 ⚙」（この⚙のところをクリック）→「ウェブアプリ」

  9-1-5. 「次のユーザーとして実行」が「自分」になっている事を確認

  9-1-5. 「アクセスできるユーザー」を「全員」に変更

  9-1-6. 「デプロイ」→「デプロイID」（= Script ID）をコピーして取得

  以上のGAS翻訳サービスの作り方は「音声認識字幕ちゃん」を100%参考にさせて頂いています。先人に感謝いたします。🙏

• 9-2. 《GAS-Translation》のシンプルな設定例の設定ファイル "conf.example-gas-translation.toml" の script_id に (9-1.) で取得した GAS の Script ID を設定します。または、 Script ID の不慮の漏出に注意したい場合は環境変数 VAC_GAS_TRANSLATION_SCRIPT_ID に GAS の Script ID を設定しても動作します。お好みの方法で Script ID を設定して下さい。

  version 0.2.0 以前のダウンロード用パッケージには "conf.example-gas-translation.toml" は同梱されていません。必要に応じて作成または、https://github.com/usagi/virtual-avatar-connect/blob/main/conf.example-gas-translation.tomlからダウンロードしてご用意下さい。

• 9-3. 《GAS-Translation》のシンプルな設定例の設定ファイル "conf.example-gas-translation.toml" を "virtual-avatar-connect.exe" へドロップして VAC を起動してみましょう。

  コマンドラインでは `./virtual-avatar-connect conf.example-gas-translation.toml` です。コマンドラインでの使い方は `--help` で確認できます。

  この設定ファイル "conf.example-gas-translation.toml" の中身はこうなっています。👀

  [[processors]] channel_from = "user" channel_to = "user-en" feature = "gas-translation" # Google Apps Script の Script ID # 以下の script_id に GAS の Script ID を設定するか、環境変数 VAC_GAS_TRANSLATION_SCRIPT_ID に設定して下さい。 # script_id = "ここにあなたの Google Apps Script の ID を設定します（他人に公開しないようにご注意下さい）" # 翻訳元の言語; 指定しないと自動推定になります。推定は万能ではないので、できるだけ指定することをおすすめします。 translate_from = "ja_JP" # 翻訳先の言語 translate_to = "en_US"
• 9-4. ブラウザーのウィンドウまたはタブへ標準の入力画面 http://127.0.0.1:57000/input を開きます。
• 9-5. ブラウザーの別のウィンドウまたはタブへ 2-ch-mix 出力画面 http://127.0.0.1:57000/output/2-ch-mix#user;;[日本語]`user-en;;[English] を開きます。

  2-ch-mix など出力画面についてもっと知りたい場合は「使い方 12. 「出力画面」の作り込み」で紹介するので御覧ください。

• 9-6. 入力画面の上または下、今回はどちらでもよいので送信先のチャンネルを user に設定します。
• 9-7. 入力内容に「この入力内容は日本語から英語に自動的に翻訳されます。」のように適当なメッセージを書きます。
• 9-8. 送信チャンネルを設定した隣にある POST ボタンを押します。音声合成と再生が行われ、ついでに出力画面にも表示されます。

手順

• 10-1. OpenAI API の準備 (OpenAI API に登録済みの場合は飛ばして次へどうぞ)

  10-1-1. https://openai.com/にアクセスして "Log in↗" をクリックします。

  10-1-2. "Don't have an accout? Sign up" から "Sign up" をクリックします。

  10-1-3. https://platform.openai.com/account/usage でAPI のクレジット残高を確認します。

  10-1-4. もし使用可能なクレジットが無ければ https://platform.openai.com/account/billing/overview の "Add to credit balance" からクレジットを購入します。

  10-1.5. https://platform.openai.com/account/api-keys で "Create new secret key" から API KEY を作成します。

  OpenAIの"ChatGPT"と"API"は別のサービスで支払いも共有されません。OpenAIの有料サービスに初めて登録する方は気をつけて下さい。《OpenAI-Chat》に必要なサービスは"API"のみです。

• 10-2. 《OpenAI-Chat》のシンプルな設定例の設定ファイル "conf.example-openai-chat.toml" の api_key に (10-1.) で取得した OpenAI の API KEY を設定します。または、 API KEY の不慮の漏出に注意したい場合は環境変数 VAC_OPENAI_CHAT_API_KEY に OpenAI の API KEY を設定しても動作します。お好みの方法で API KEY を設定して下さい。

  version 0.2.0 以前のダウンロード用パッケージには "conf.example-openai-chat.toml" は同梱されていません。必要に応じて作成または、https://github.com/usagi/virtual-avatar-connect/blob/main/conf.example-openai-chat.tomlからダウンロードしてご用意下さい。

• 10-3. 《OpenAI-Chat》のシンプルな設定例の設定ファイル "conf.example-openai-chat.toml" を "virtual-avatar-connect.exe" へドロップして VAC を起動してみましょう。

  コマンドラインでは `./virtual-avatar-connect conf.example-openai-chat.toml` です。コマンドラインでの使い方は `--help` で確認できます。

  この設定ファイル "conf.example-openai-chat.toml" の中身はこうなっています。👀

  [[processors]] channel_from = "user" channel_to = "ai" feature = "openai-chat" # OpenAI API の API KEY # 以下の api_key に OpenAI API の API KEY を設定するか、環境変数 VAC_GAS_TRANSLATION_SCRIPT_ID に設定して下さい。 # api_key = "ここにあなたの OpenAI の API KEY を設定します（他人に公開しないようにご注意下さい）" # 参考: https://platform.openai.com/docs/models/gpt-3-5 # 参考: https://platform.openai.com/docs/models/gpt-4 model = "gpt-3.5-turbo"

  《OpenAI-Chat》にはたくさんの設定項目があります。 AIの広範な知識からの回答を得られる助手を召喚したいだけならサンプルの設定だけでも十分に楽しく、あるいは役立つよう動作してくれます。 もっと高度な設定や疑似人格形成を行いたい場合はひとまず付属の conf.toml でコメントされている設定を参考にしてみてください。 実際に開発のなかのひとが Twitch で配信する際に疑似人格ケルシー先生を構成するために使っている設定です。 特に custom_instructions に疑似人格形成のための設定を書くことで、さまざまなAIキャラクターを構成できます。 また、memory_capacity(応答ごとに過去何件分の記憶を擬似的に保持させるか), min_interval_in_secs(応答間隔), force_activate_regex_pattern(強制応答パターン), ignore_regex_pattern(無視パターン) などを適切に設定して AI の応答頻度を調整することも特に GPT4 を使う場合には大事です。 他にも temperature, top_p, n, presence_penalty, frequency_penalty, max_tokens, user などの OpenAI API が受け取れるパラメーターは設定可能にしてあります。

• 10-4. ブラウザーのウィンドウまたはタブへ標準の入力画面 http://127.0.0.1:57000/input を開きます。
• 10-5. ブラウザーの別のウィンドウまたはタブへ 2-ch-mix 出力画面 http://127.0.0.1:57000/output/2-ch-mix#user;;[日本語]`ai;;[AI] を開きます。

  2-ch-mix など出力画面についてもっと知りたい場合は「使い方 12. 「出力画面」の作り込み」で紹介するので御覧ください。

• 10-6. 入力画面の上または下、今回はどちらでもよいので送信先のチャンネルを user に設定します。
• 10-7. 入力内容に「この入力内容は日本語から英語に自動的に翻訳されます。」のように適当なメッセージを書きます。
• 10-8. 送信チャンネルを設定した隣にある POST ボタンを押します。音声合成と再生が行われ、ついでに出力画面にも表示されます。

手順

• 11-1. 《MODify》のシンプルな設定例の設定ファイル "conf.example-modify.toml" を "virtual-avatar-connect.exe" へドロップして VAC を起動してみましょう。

  コマンドラインでは `./virtual-avatar-connect conf.example-modify.toml` です。コマンドラインでの使い方は `--help` で確認できます。

  version 0.2.0 以前のダウンロード用パッケージには "conf.example-openai-chat.toml" は同梱されていません。必要に応じて作成または、https://github.com/usagi/virtual-avatar-connect/blob/main/conf.example-modify.tomlからダウンロードしてご用意下さい。

  この設定ファイル "conf.example-modify.toml" の中身はこうなっています。👀

  # MODify は内容に変更を加えるプロセッサーです。 [[processors]] channel_from = "user" # from と to が同じ場合はこれ以降のプロセッサーへ流れる内容が完全に書き換えられます。 # from と to が異なる場合は変更した内容を to に送るだけの動作になります。 channel_to = "modified" # 英単語をカタカナに変換 # 英語の文章を日本語の音声合成エンジンに読み上げさせる場合などに使うとアルファベットをそのまま読まれるよりはマシなこともあるかもしれません。 alkana = true # この後に dictionary_files や regex_files がコメントでテンプレートとして用意されていますが # 「使い方」の例では直接は紹介しないので興味がある方は conf.example-modify.toml を編集して試してみて下さい。
• 11-2. VAC を起動します。
• 11-3. ブラウザーのウィンドウまたはタブへ標準の入力画面 http://127.0.0.1:57000/input を開きます。
• 11-4. ブラウザーの別のウィンドウまたはタブへ 2-ch-mix 出力画面 http://127.0.0.1:57000/output/2-ch-mix#user;;[user]`modified;;[mod] を開きます。

  2-ch-mix など出力画面についてもっと知りたい場合は「使い方 12. 「出力画面」の作り込み」で紹介するので御覧ください。

• 11-5. 入力画面の上または下、今回はどちらでもよいので送信先のチャンネルを user に設定します。
• 11-6. 入力内容に「Hello, Virtual Avatar Connect!」のように適当なメッセージを書きます。
• 11-7. 送信チャンネルを設定した隣にある POST ボタンを押します。音声合成と再生が行われ、ついでに出力画面にも表示されます。

配布状態のVAC出力画面向けAPIの簡単な使い方（一般的におすすめ）

• 出力画面用の .html に script 要素を追加して type="module" で src="resources/js/output.js" をロードします。
• チャンネルから受信した内容を表示したいHTML要素を作り data-vac-output="title" のように受信したいチャンネルを指定します。
• .html に script 要素を追加して document.addEventListener('DOMContentLoaded', () => vac.output.run()) とおまじないを書きます。

出力画面からもっと細かく API を使いたい場合は resources/js/output.js や resources/js/api.js を参考にするとよいかもしれません。👀

VAC本体から直接チャンネル出力情報を取得する使い方（⚠️高度な応用をしたい方向け）

WebSocket: ws://127.0.0.1:57000/ へ接続し、受信した payload を JSON デコードします。

REST: http://127.0.0.1:57000/output に POST で body に OutputRequestPayload 構造体を JSON 形式で入れて投げ、応答から JSON 化された OutputResponsePayload を受け取ります。

VAC本体へチャンネル入力情報を送信する方法

WebSocket: ws://127.0.0.1:57000/ へ接続し、 InputPayload 構造体をJSON形式の文字列値として送信します。

REST: http://127.0.0.1:57000/input に POST で body に InputPayload 構造体を JSON 形式で入れて投げます。