GenieWizard：使用LargeLanguage模型發現多模式應用程序功能
以下是對論文《GenieWizard: Multimodal App Feature Discovery with Large Language Models》的詳細總結，結合教育技術學視角的分析：

---

一、核心問題與背景

1. 問題背景：

   • 多模態交互（如語音+觸摸）比傳統圖形交互更靈活，但開發難度大。
   • 開發者難以預測用戶可能的所有指令（如“顯示附近$100以下的酒店”），導致41%的用戶指令無法支持。
   • 傳統開發痛點：多模態應用需早期用戶測試，但原型制作成本高，且無法覆蓋所有可能的指令組合。

2. 現有方案局限：

   • GUI應用可用Figma等工具快速原型測試，但多模態應用缺乏類似工具。
   • 現有框架（如ReactGenie）依賴開發者預先編寫功能，無法自動發現缺失功能。

---

二、GenieWizard的核心創新

1. 核心思路

開發一個AI輔助工具