loading

bind
two
worlds

AI 與角色雙界
共演

AI
live
character

Message

專題理念

不只讓 AI 說出一句話，
而是讓角色真正記得、理解，
並用自己的方式回應

本專題從 Live2D 文字聊天室出發， 逐步整合生成式 AI、角色人格與故事記憶。 系統會先理解使用者真正想表達的意思， 再由角色 Persona 與獨立上下文生成回覆。 最終台詞、情緒、動作與聲音同步呈現， 使互動不再只停留於文字框。 CODE 採多角色 Live2D 通訊介面， 往世樂土則以愛莉希雅的 3D 舞台、 GPT‑SoVITS 音色與情境演出建立沉浸感。 兩個世界的紀錄、資產、聲音與執行狀態完全分離， 讓每個角色維持自己穩定且不可互相污染的人格。

Works

互動體驗展示

  • CODE 特務組織識別標誌

    CODE｜多角色 Live2D 特務主題系統

    以特務通訊終端為主題的多角色 Live2D 互動系統。每位角色擁有獨立人格、故事記憶與聊天紀錄，並支援角色服裝切換、情緒表情與動作同步。

    技術：React・Live2D Cubism・OpenAI API

    view
  • Mimiru AI VTuber 深夜直播間

    Mimiru Live｜AI VTuber 深夜直播間

    仿 YouTube 直播頁面的互動直播體驗。使用者可直接透過聊天室與 Mimiru 對話，並同步呈現日文語音、中文字幕、Live2D 表情動作與觀眾留言。

    技術：Live2D・OpenAI API・Qwen3‑TTS・Chat Director

    view
  • 往世樂土愛莉希雅 3D 互動世界

    往世樂土｜愛莉希雅 3D 互動世界

    結合 3D 角色、GPT‑SoVITS 音色合成、長期記憶與情境演出的沉浸式對話體驗。字幕、語音、動作與貼圖會依回覆同步呈現，並與 CODE 系統完全分流。

    技術：Three.js・MMD・GPT‑SoVITS・Mem0

    view

About

系統組成

從輸入到角色演出，
我們把語意、人格、記憶、語音
與 Live2D／3D 渲染拆成獨立模組，
再以結構化回覆協定
串成穩定的互動流程。

  1. 01

    語意理解

    正規化輸入，辨識轉折、否定與反諷，僅提供回覆生成所需的理解線索。

  2. 02

    角色人格

    每位角色擁有獨立 Persona、故事時間點與回覆規則，避免跨角色污染。

  1. 03

    記憶與對話

    以分流上下文與長期記憶保存互動；CODE 與往世樂土的資料完全獨立。

  2. 04

    同步演出

    結構化回覆同步輸出台詞、情緒與動作，驅動 Live2D／3D、語音與貼圖。

Our Members

專題製作成員

  • 組長吳彥霖

    吳彥霖

  • 成員曹峻誥

    曹峻誥

  • 尚未公開的專題成員

    Unknown

Rights & Credits

原作、素材與設計來源標示

  • HoYoverse／米哈遊
  • 東映／石森プロ
  • BanG Dream!／MyGO!!!!!
  • Live2D Inc.
  • Makery
  • 各素材原權利人

Workflow

互動流程

一句輸入會依序經過前處理、語意輔助、角色記憶、結構化生成與同步演出。資料集只提供理解線索，不會直接控制角色表情。

  1. 01

    輸入前處理

  2. 02

    語意輔助

  3. 03

    人格與記憶

  4. 04

    結構化生成

  5. 05

    同步演出

  1. 01

    輸入前處理

    正規化文字，擷取關鍵詞、語言與句構，建立乾淨的對話輸入。

  2. 02

    語意輔助

    分析轉折、雙重否定與反諷。資料集只提供理解線索，不直接控制表情。

  3. 03

    人格與記憶

    載入所選角色的 Persona、故事時間點、當前上下文與獨立長期記憶。

  4. 04

    結構化生成

    OpenAI API 以固定 JSON 回傳台詞、情緒、動作與語音風格，並驗證輸出。

  5. 05

    同步演出

    語音完成後，同步顯示字幕並啟動 Live2D／3D 動作、表情及情境貼圖。

Project

專題核心

讓 AI 的回覆
真正成為角色的反應

我們將語意理解、角色人格、故事記憶與聲音合成整合為一條互動管線。
AI 不只輸出文字，也會回傳情緒與動作，
讓 Live2D 與 3D 角色以表情、聲音及演出回應使用者。
CODE 與往世樂土各自保存資料與狀態，互不干涉。

Contact

專題團隊

結合前後端、生成式 AI、
角色渲染與語音合成，
打造能維持人格的
虛擬角色互動系統。

指導老師：莊啟宏。組員：11227117 吳彥霖、11227260 曹峻誥。專題原名為「結合 ChatGPT 與 Live2D 情緒表達之虛擬角色互動系統」，目前已擴展為 Live2D 與 3D 並行的雙世界平台。

Open Project