AI相談員のリアルタイム映像・音声応答

銀行の営業店の画面に立つAI行員が顧客の言葉を聞き取り、預金・積立や融資といった商品を声と映像で案内するサービスで、顧客の声をサーバーへ送り、AIが作った行員の応答映像を受け取って再生するアプリ側の区間を作りました。顧客が話し終えた後に映像が遅れて始まれば会話ではなく待ち時間になるため、音声を送ってから映像を受け取るまでの遅延を減らすことに集中しました。マイク入力を受けて圧縮し、リアルタイムの接続でサーバーへ流し、戻ってきた映像をすぐ再生する段階を一つずつ分けて設計しました。音声認識と映像合成はサーバーが担い、作業範囲はアプリ側です。