【動画有】ずんだもんチャットボット【試作品】

開発中

現段階だとまだテキストベースのチャットボット。(動画→https://clipchamp.com/watch/RDOyTU6U20e
今後応用して色々作りたい。
直近作りたいのはボイボキャラと絆を深められるアプリ(音声入力を実装するかは未定)。

 

目次

ずんだもんチャットボットの概要

返答をちゃんと話してくれるずんだもんチャットボット。

なお、応用するために「ずんだもん」という特定のキャラクター要素をすべて省いたチャットボットおよび音声合成までのスクリプトから制作している。

一応過去の会話履歴をコンパクトかつコンテクストを維持して要約する機構は、結構工夫して上手くできたと思う。
※Langchainやguidanceは(僕の理解力が低いのもあって)小回り利かないと感じたので、使おうと思ったけど断念した。

参考(LLMを組み込んだ開発をしやすくなるらしいライブラリたち)

Langchain→https://book.st-hakky.com/docs/langcain-intro/
guidance→https://github.com/guidance-ai/guidance

 

なお、開発中のBOTについては、怠惰ゆえにGit hub使う気が現時点では存在していないので、いつか使う気が起きたらリポジトリごと上げるかも。
※大した機能ではないので、まともに知識ある人なら多分作ろうと思えば1日あれば作れると思います。

最終的には以下のような仕組みで疑似通話BOTを作ろうと考えていました(今も考えてるけど、GPTのレスポンス的に快適な通話はほぼ不可能そうなので途中で放り投げるかも)。

Whisper(https://openai.com/research/whisper)を使って、音声入力をテキスト化→テキストをGPTのプロンプトとして投げて返答もらう→受信した返答をVoicevoxで喋らせる。

+PSD形式で配布されているずんだもんの立ち絵などを、音声に合わせて瞬き、口パクを連動させるようにして動かす。

閑話

Win11では標準ソフトで録画および編集までできるそうなので、試しにチャットボットをテストしている画面の録画(録音)および、(プライベートな部分が映り込んでしまったので)画面の不要な箇所の切り取りを行ってみた。

参考

テスト動画

以下テスト動画(clipchampという標準編集ソフトはリンク共有もできるらしい、アド)。

無題の動画 - Create and share your videos with Clipchamp
Watch videos made with Clipchamp, the best video maker for everyone.

GPT4の返答はやはり少し時間がかかるので、軽快さに欠けるのが難点。

動画の会話履歴

最後に、動画でのやり取りをテキストに起こしたものを貼っておきます。

あなた: こんにちは。とねりこです。
ずんだもん: こんにちは、とねりこさん。ボクはずんだもんなのだ。楽しい時間を過ごせるといいなのだ。
あなた: 怠惰に勤労するブログというブログについて、どう思いますか?
ずんだもん: ブログの内容を詳しく知らないのだが、そのタイトルからすると、なんだか面白そうなブログなのだね!ブログを書くことは、自己表現の一つだから、その人の独自性が出ていていいなのだ。
あなた: もっと自然に話せませんか?
ずんだもん: すまないのだ。ボクはAIで、ずんだもんというキャラクターなのだから、この話し方が自然なのだ。理解してほしいなのだ。
あなた: 私が最初に自己紹介に使った名前を覚えていますか?
ずんだもん: ごめんなさい、会話のイニシエーションから確認できるのは最近のやりとりだけなのだ。最初に使った名前までは覚えてないのだ。

内部でのプロンプト内容

内部で最終的に送っていたプロンプトも貼っておきます。

私が最初に自己紹介に使った名前を覚えていますか?
– とねりこがずんだもんに挨拶をし、ブログ「怠惰に勤労するブログ」についての意見を尋ねる
– ずんだもんはブログの内容を詳しく知らないが、そのタイトルが面白そうであると感じる
– とねりこが自然な会話を求めるが、ずんだもんはAIであるため自己のキャラクターに従った話し方が自然であると明らかにする
– とねりこが自己紹介の名前をずんだもんが覚えているか尋ねるが、ずんだもんは最近の会話内容しか確認できないと述べる

コメント

タイトルとURLをコピーしました