loading

bind
many

worlds

AI 與角色多域
共演

AI
live
character

Message

專題理念

不只讓 AI 回答問題,
而是讓角色真正記得、理解、表達,
並主動與人建立互動

本專題整合生成式 AI、角色人格、分層記憶、 Live2D/3D 渲染與神經語音合成, 建立能長期維持角色一致性的互動平台。 系統會分析使用者與觀眾真正想表達的內容, 再依角色人格、情緒、關係、生活經歷與近期事件, 生成台詞、語音、字幕、表情、動作與嘴型。 平台包含 CODE 多角色 Live2D 機密聯絡室、 愛莉希雅 3D 往世樂土, 以及具備主動主持、觀眾人格與 Super Chat 的 MIMIRU AI VTuber 直播間。 三套體驗的角色資料、記憶與語音相互分流, 避免跨角色污染並維持各自的世界觀。

Works

互動體驗展示

  • CODE 特務組織識別標誌

    CODE|多角色 Live2D 特務主題系統

    以機密通訊終端為主題的多角色 Live2D 互動系統。每位角色擁有獨立 Persona、故事時間點、長期記憶與聊天紀錄,並支援服裝切換、角色主題、情緒表情及動作同步。

    技術:React・Live2D Cubism・OpenAI API・Character Memory

  • MIMIRU AI VTuber 深夜直播間

    MIMIRU Live|自主主持 AI VTuber 直播間

    以 YouTube Live 為視覺基礎的互動直播系統。MIMIRU 會主動讀取觀眾留言與 Super Chat、延伸或切換話題,並依人格、情緒、關係及長期記憶做出不同反應,同步呈現日文語音、繁體中文字幕、Live2D 嘴型、表情與動作。

    技術:Live2D・OpenAI API・ANNA RVC・Personality Controller・Chat Director

  • 往世樂土愛莉希雅 3D 互動世界

    往世樂土|愛莉希雅 3D 互動世界

    以愛莉希雅 3D 舞台為核心的沉浸式對話體驗。系統整合角色 Persona、獨立長期記憶、GPT‑SoVITS 音色與情境演出,使繁體中文字幕、日文語音、3D 動作與貼圖依同一份回覆同步呈現。

    技術:Three.js・MMD・GPT‑SoVITS・Long-term Memory・OpenAI API

About

系統組成

從一句訊息到完整角色演出,
我們將語意、人格、記憶與語音
拆成可驗證且彼此分流的模組,
再以結構化回覆驅動
Live2D、3D 與直播互動。

  1. 01

    語意理解

    正規化輸入並辨識轉折、否定與反諷;語意模型只提供理解線索,不直接決定角色表情。

  2. 02

    角色人格

    每位角色擁有獨立 Persona、故事時間點、說話規則與情緒狀態,維持一致而不扁平的人格。

  1. 03

    記憶與對話

    以 CANON、偏好、事件與暫時記憶保存互動;CODE、往世樂土與 MIMIRU Live 的資料完全分流。

  2. 04

    同步演出

    結構化回覆同步驅動台詞、日文語音、繁中字幕、Live2D/3D 表情動作、嘴型與情境事件。

Our Members

專題製作成員

  • 組長吳彥霖

    吳彥霖

  • 成員曹峻誥

    曹峻誥

  • 尚未公開的專題成員

    Unknown

Rights & Credits

原作、素材與設計來源標示

  • HoYoverse/米哈遊
  • 東映/石森プロ
  • BanG Dream!/MyGO!!!!!
  • Live2D Inc.
  • Makery
  • 各素材原權利人

Workflow

互動流程

使用者或聊天室訊息會依序經過輸入理解、人格記憶檢索、結構化生成、語音合成與同步演出;完成後再更新關係及事件記憶。語意資料集只提供理解線索,不會直接控制角色反應。

  1. 01

    輸入與語意

  2. 02

    人格與記憶

  3. 03

    結構化生成

  4. 04

    語音與字幕

  5. 05

    演出與記憶

  1. 01

    輸入與語意

    正規化使用者或聊天室訊息,擷取語言、關鍵詞、否定、轉折與反諷線索,建立乾淨的互動事件。

  2. 02

    人格與記憶

    依角色載入 Persona、故事時間點、情緒狀態、關係進度與相關長短期記憶,避免無關資料污染回覆。

  3. 03

    結構化生成

    OpenAI API 以固定 JSON 產生顯示文字、日文 speech、情緒、動作、強度與記憶候選,並驗證欄位完整性。

  4. 04

    語音與字幕

    將角色 speech 送入對應語音模型,並以音訊真正播放時間同步繁體中文字幕與 Live2D 嘴型。

  5. 05

    演出與記憶

    驅動 Live2D/3D 表情、動作、貼圖、聊天室與特殊事件;演出完成後更新關係、事件及已說過記憶。

Project

專題核心

讓 AI 的回覆
成為角色的記憶、聲音與反應

我們將語意理解、角色人格、分層記憶、語音合成與即時渲染整合為一條可驗證的互動管線。
AI 不只輸出文字,也會回傳聲音、情緒、動作與記憶候選,
讓 Live2D、3D 與 AI VTuber 以各自的方式回應使用者與觀眾。
CODE、往世樂土與 MIMIRU Live 各自保存資料、資產、語音及執行狀態,互不污染。

Contact

專題團隊

結合前後端、生成式 AI、
分層記憶、角色渲染與語音,
打造能長期維持人格並
主動互動的虛擬角色平台。

指導老師:莊啟宏。組員:11227117 吳彥霖、11227260 曹峻誥。專題原名為「結合 ChatGPT 與 Live2D 情緒表達之虛擬角色互動系統」,目前已擴展為整合多角色 Live2D、愛莉希雅 3D 世界與 MIMIRU AI VTuber 直播間的多域互動平台。