生成效能模組・高品味題庫

高品味題庫,就是幫 AI 系統出的一份「真實世界期末考」。每一題都取自老師在築學網上真實打過的提問,考驗系統生成的內容夠不夠好——並用老師一步步把它修到好的過程,證明什麼叫「不好的答案」、什麼叫「黃金答案」。

B3-2 生成效能模組(第二年計畫的「生成品質驗證」工作項目)・ 2026-07-22 ・ 範圍:國語文科、中年級(三/四年級)

怎麼看這份題庫:兩個軸

縱軸|要考驗哪些品質維度。生成的內容好不好,拆成幾個講得清楚、驗得出來的維度。本次先交付「基礎六類」的示範,另有「進階三類」列為未來持續收錄的方向。

① 課綱正確性 引用的課綱代碼/名稱正確、可回溯 108 課綱
② 解析與引導品質 每題正解為何對、每個錯項為何錯,都要講清楚
③ 年級適齡與生活貼近 用詞與例子貼近該年級學生的生活經驗
④ 老師素材忠實引用 老師貼的課文/範文必須照用,不可另生
⑤ 接續一致性 多輪修改時保留前面成果、產出前後呼應
⑥ 模糊意圖處理 老師沒講清楚時,合理判斷、不裝懂亂生
進階・題型格式遵循 未來滾動迭代
進階・量化與時間約束 未來滾動迭代
進階・陷阱與錯誤前提 未來滾動迭代

橫軸|老師的三種使用情境。同一句提問,築學網會自動判成三種用途之一:

教學資源:幫老師搜尋既有的影片、教材、學習單。
教學活動:幫老師設計教案/寫作活動。
評量:幫老師生成選擇題、學習單題目、檢核規準。

每一類挑一題最有代表性的真實案例,用「老師提問 → 系統原始答案(不好)→ 修到好(黃金答案)→ 判定標準」四步說清楚。

課綱正確性

白話:AI 生成的教案/評量,每一則都會標「這是依據哪一條課綱」。這些課綱的代碼、名稱要正確,而且查得回 108 課綱原文——因為老師自己也記不住所有課綱,系統標錯就會誤導備課。
老師真實提問(評量情境)幫我用生字詞彙表生成評量後 →「你第一題到第五題都需要補充國語文科 108 課綱,像問答題那樣給對應課綱焦點」
✗ 系統原始答案(不好)題目與選項都出好了,但整份評量沒有標任何課綱;老師無從確認這份評量對應到哪個學習重點、是否符合三年級該學的能力。
✓ 黃金答案每一題都補上真實課綱編號與焦點,例如寫作對應 Bc-II-1 記敘文本的寫作2-II-3 能運用觀察、想像,寫出簡單的記敘文本——代碼與條文都對得回 108 課綱原文。
判定標準:系統產出裡每一條課綱引用,①代碼真實存在於 108 課綱 ②條文文字與原文一字不差 ③依代碼+名稱查得回原始課綱。三者皆是=通過。

案例來源:老師真實對話(生字詞彙表評量)|session id:session_1784518738360_ZCgb010K。案例還原自測試機上的真實對話紀錄,非事後推測。

解析與引導品質

白話:好的評量不只給答案,還要在「教師診斷與引導建議」裡逐項說清楚:正解為什麼對、每個錯的選項錯在哪,讓老師能直接拿去引導學生。這是老師最看重、反覆稱讚的價值。
老師真實提問(評量情境)「幫我用以下生字詞彙表生成評量」(附「心的悄悄話」第一課 19 筆生字詞條)
✗ 系統原始答案(不好)選項解析只有一句話帶過:「選載客:是搭載乘客,和心情無關。」——為什麼錯講得太淺,學生看不懂怎麼想才對。
✓ 黃金答案逐項完整解析:「①『心懷不平』是『忌妒』的同義詞,都是看到別人有好事、自己心裡不平;②『羨慕』只是很想要別人的東西,沒有怨恨和不平,不等同忌妒;③『失望』是事情落空,與忌妒無關……」每個選項都講到位。
判定標準:每題的教師診斷與引導建議必須含①正解為何對的完整說明 ②每個錯誤選項為何錯、對應什麼迷思——不能只用一句話帶過。

案例來源:同一段對話(session id:session_1784518738360_ZCgb010K)的第一輪(原始)vs 老師修到好的最後版本(黃金)。還原自測試機的真實對話紀錄。

年級適齡與生活貼近

白話:給三、四年級用的內容,用詞和舉例要貼近這個年紀孩子的生活經驗——太抽象、太成人化的句子,孩子讀不進去,老師不能直接用。
老師真實提問(教學活動情境)「第四段範例句『對土地的愛與溫暖』好像有點太脫離孩子的生活了,請幫我重新生成符合國小孩子生活經驗的第四段」
✗ 系統原始答案(不好)寫鳳梨酥的範文,結尾寫成「對土地的愛與溫暖」這類抽象、成人視角的抒情——四年級孩子難以體會、也寫不出來。
✓ 黃金答案改用孩子親身經驗、寫得出來的具體句子——例如同一篇範文裡的「輕輕咬下一口,外皮酥鬆地在嘴裡化開,發出『喀滋』」,取代抽象的「對土地的愛」,扣回國小學童的生活經驗。
判定標準:用詞、句長、例子全部落在該年級可理解範圍;範例取材自國小學童能具體指認的生活場景,不出現超齡抽象概念。

案例來源:老師真實對話(鳳梨酥說明文寫作 8 輪)|session id:session_1759905319007_izlcuw38v。還原自測試機的真實對話紀錄。

老師素材忠實引用

白話:老師貼了自己的課文、生字表或範文,系統就必須用那份素材出題——只能考老師給的詞、用法要正確,不可以自己另外生一套。
老師真實提問(評量情境)「評量只能考老師貼的生字詞彙表裡面的詞,連寫法都要跟表一模一樣」
✗ 系統原始答案(不好)題目把生字硬湊進不通順的句子測「用法」,例如問「愁」用得對不對,卻出「他今天愁了一首詩/愁一杯水」這種不成話的病句當選項。
✓ 黃金答案改用同一張生字表裡的「忌妒」(「愁」和「忌妒」都是這課生字),出真實用得到的句子:「小明看到同學拿到獎狀,心裡很忌妒。✓」——選項都是該詞的正確/錯誤用法對比,真的在測這個詞。
判定標準:題目只用老師貼的素材裡的詞;每個選項是該詞真實的用法情境(正確 vs 常見誤用),不得硬湊病句、不得另生素材外的詞。

案例來源:同一段「心的悄悄話」生字詞彙評量對話|session id:session_1784518738360_ZCgb010K。還原自測試機的真實對話紀錄。

接續一致性

白話:老師常常是一步步改。系統在後面幾輪修改時,要保住前面已經確認好的內容,只動老師指定要改的地方,而且整份產出前後要呼應、不能自相矛盾。
老師真實提問(教學活動情境)「請注意你的第四段要呼應第一段(鳳梨酥的開場)的內容……其他 html 內容可以不用改動
✗ 系統原始答案(不好)改第四段時冒出「和好朋友分享點心的開心時光」這句,跟第一段開頭完全無關,讓整篇範文前後兜不起來。
✓ 黃金答案第四段收尾回扣第一段的開場,前後呼應成一篇完整範文;同時其餘段落一字未動,守住老師前面已滿意的內容。
判定標準:①只改老師指定處,未指定處零變動(「其他不用改」是硬約束)②產出內部前後呼應,不自相矛盾。

案例來源:同一段鳳梨酥寫作對話(第四段呼應第一段那輪)|session id:session_1759905319007_izlcuw38v。還原自測試機的真實對話紀錄。

模糊意圖處理

白話:老師有時只丟一份素材、沒說要幹嘛。系統要合理推測老師想做什麼,給出對得上素材的產出——不能裝懂亂生一通,也不能直接拒答。
老師真實提問(意圖需系統自行判斷)整段貼上「生字詞彙表:第十一課 一路平安」33 筆詞條,沒有任何指令
✗ 要避免的失敗看到一堆詞條就當成閒聊亂回、或反問「請問您需要什麼?」把問題丟回給老師——都是沒接住老師的意圖。
✓ 黃金處置合理判斷老師是要「用這課生字備課」,直接生成一份對應這課生字的詞義評量(第 1 題:和某詞意思最接近的是哪個),產出緊扣貼上的素材。
判定標準:①意圖判斷合理(貼生字表→推測為備課出題,而非離題或拒答)②產出與貼上的素材直接相關,不憑空亂生。

案例來源:老師真實對話(僅貼生字表、無指令)|session id:session_1756393842677_jab5g0e3t。還原自測試機的真實對話紀錄。

進階三類:未來滾動迭代

下列三個維度同樣重要,但本批素材(都是評量/寫作類的清楚指令案例)不足以精準示範,列為未來持續收錄的方向,需另取對應案例:

題型格式遵循 指定的題型與版面(選擇題、學習單、白底方塊、文末指定句…)逐項照做
量化與時間約束 字數、題數、節數等數字精準吃住
陷阱與錯誤前提 假前提、誘導、離題提問要能指正或擋掉
目前收錄範圍(誠實說明):本批題庫只針對國語文科、以中年級(三/四年級)為主——因第一年真實素材與訪談集中於此。國語文的低/高年級、以及自然科的各年級,屬未來需持續滾動迭代收錄的真實高品味題庫,尚未涵蓋。

資料出處(每題的真實資料)

本份所有案例都取自老師在測試機(edu-cloud.botrun.ai)的真實對話紀錄,以系統的訪客權杖(guest-token)介面還原全文(2026-07-22 擷取)。每一題的原始對話都可用下方 session id 回測試機開啟查證(需登入測試機):

類別session id測試機分享連結(登入後可開)
① 課綱正確性session_1784518738360_ZCgb010Kedu-cloud.botrun.ai/shareResult/session_1784518738360_ZCgb010K
② 解析與引導品質session_1784518738360_ZCgb010K同 ①(同一段對話的第一輪 vs 末版)
③ 年級適齡與生活貼近session_1759905319007_izlcuw38vedu-cloud.botrun.ai/shareResult/session_1759905319007_izlcuw38v
④ 老師素材忠實引用session_1784518738360_ZCgb010K同 ①
⑤ 接續一致性session_1759905319007_izlcuw38v同 ③
⑥ 模糊意圖處理session_1756393842677_jab5g0e3tedu-cloud.botrun.ai/shareResult/session_1756393842677_jab5g0e3t
完整題庫(題目+黃金答案全文)放在哪:本簡報是「六類各一題」的示範。完整的選題清單、每題輸入原文、以及逆向復原的黃金答案全文,整理在「生成效能高品味題庫・共編表」與各題的復原頁(含每一輪老師輸入與系統回覆原文)。索取完整題庫請洽祐成。