纽约大学教授以每次42美分的成本，利用AI口试打击学术作弊
核心摘要
纽约大学一位教授为应对人工智能带来的学术作弊问题，在其课程中引入AI驱动的口试。实验发现，许多提交高质量书面作业的学生无法清晰解释其项目中的基本决策。这项创新评估方法成本极低，每次考试仅需约42美分，显著降低了传统口试的经济负担。
实验背景与发现
- 课程与教师：实验在纽约大学名为“AIML产品管理”的课程中进行，由教授帕诺斯·伊佩罗蒂斯（Panos Ipeirotis）和联合讲师康斯坦丁诺斯·里扎科斯（Konstantinos Rizakos）主导。
- 问题暴露：传统书面评估存在局限。口试实验揭示，许多在书面作业中表现优异的学生，在口头解释其期末项目的目标、数据、建模决策、评估及失败模式时存在明显困难，暴露出知识与实际理解之间的差距。
AI口试实施方案
- 技术工具：采用基于ElevenLabs的语音AI代理进行考试。
- 考试流程：
- 第一部分：AI代理就学生的期末项目进行提问。
- 第二部分：AI随机从课程案例中选取问题进行深入追问。
- 执行数据：在9天内，共有36名学生参加了AI口试。
- 每次考试平均时长：25分钟。
- 总成本：15美元。
- 人均成本：约0.42美元（42美分）。
效果评估与改进
- 初期问题：首个版本的AI口试存在AI语气过于严厉、有时一次性提出多个问题导致沟通不畅等问题。
- 评分机制：使用Claude、Gemini和ChatGPT三种AI模型对考试进行评分。初始评分一致性较低，经过相互审查后，评分准确性得到提升。
- 学生反馈：
- 70%的学生认为，这种考试形式确实检验了他们的真实理解水平。
- 多数学生感到AI口试比笔试压力更大。
- 教授观点：伊佩罗蒂斯教授指出，AI技术使大规模实施口试变得可行，学生可以通过与AI互动练习来提升自身能力。
关键要点总结
- 暴露学习漏洞：口试结果揭示了学生书面作业与实际知识掌握之间的脱节。
- 成本效益显著：AI口试将人均成本降至极低的42美分，使得频繁、深入的口头评估成为可能。
- 有效检验理解：尽管带来压力，但大部分学生认可该方法能更有效地测试真实学习成果。
- 技术赋能教学：AI不仅作为评估工具，也为学生提供了可反复练习的互动平台。
