第二语言阅读能力计算机自适应测试中的问题

1996年3月20日至22日

此次研讨会是第二语言评估领域的一个里程碑，是第一次只关注第二语言计算机自适应测试(CAT)的国际会议。来自世界各地的80多名参与者来学习这一语言评估的前沿领域。

明尼苏达大学(University of Minnesota)一直被誉为语言能力测试领域的领导者，其语言习得高级研究中心(Center for Advanced Research on language Acquisition, CARLA)通过测试开发和研究推动了语言能力评估的议程。1996年夏天，卡拉获得了“利用计算机自适应测试技术改进和加强外语能力测试”的奖金，卡拉的研究团队开始构建计算机自适应测试，用于评估和提供有关学生法语阅读能力的诊断信息。German, and Spanish. A principle objective of this seminar was to address key issues that will inform the construction of these tests.

这次开创性的研讨会邀请了计算机自适应测试、技术、第二语言阅读能力和第二语言评估领域的顶尖专家。演讲涉及第二语言阅读和计算机自适应测试评估的理论问题和经验发现。

研讨会的主题包括:

卡拉的计算机适应阅读能力测试开发
第二语言阅读模式及其研究:与计算机适应性测试的关系
计算机自适应测试的最新趋势，包括评分算法和试题选择启发式
计算机测试技术，包括多媒体，模拟，项目格式，曝光和安全
第二语言计算机自适应测试与评估
项目反应理论
多项目池用于熟练度和诊断测试

会议演讲

计算机化第二语言测试的视角
David Weiss，博士，明尼苏达大学心理学系教授

第二语言考试的改进可以从计算机管理模式和多种形式的适应性管理中得到实现。本文将讨论计算机管理的一些优点。本文将介绍自适应测试的起源和方法，并介绍自适应测试在第二语言测试中的几个应用。

大型网络上的计算机测试:今天和明天的问题
Charles Johnston博士，Drake Prometric公司技术副总裁

许多机构和组织已经转移到计算机化的考试中，计算机自适应测试代表一个越来越多的交付模式。交付通常需要大型国家或全球的交付点网络。该系统必须反映测试开发和精神仪的最新趋势，包括多媒体演示，模拟，新项目/测试格式，专家评分系统和安全性等。

探索计算机测试的新项目类型:新的可能性和挑战
Michael Yoes，Ph.D.，总统，评估系统公司

计算机考试的应用越来越广泛。很少考虑到电脑化所提供的独特的新项目类型的机会。大多数计算机化测试(包括计算机辅助测试)使用打印测试中的项目类型。测试开发人员可以考虑新的项目类型。讨论可能的新方向，和心理测量挑战将提出。

《学习用外语阅读》和C-A阅读评估
William Grabe，博士，副教授，北亚利桑那大学英语系

本演讲将首先简要概述L1阅读研究的一些主要发现，这些发现对在大学外语语境中学习阅读具有重要的影响。接下来的演讲将提出一系列影响大学外语教学中阅读能力发展的问题(或困境)。考虑到这些问题(或困境)，并考虑到特定大学现代语言系的目标，最后一部分将考虑实施计算机自适应阅读评估需要解决的问题。

如果阅读是以读者为基础的，会有计算机适应的阅读测试吗?
Elizabeth B. Bernhardt，博士，斯坦福大学语言中心主任兼德语研究教授

本演讲回顾了第一语言和第二语言的阅读理论。此外，它检查了支持每个理论的数据，特别强调最近重新检查的L1/L2读写关系数据。本文认为，从这些个人的角度和他们的综合，CAT是一个潜在的外来努力，试图评估阅读理解。

计算机自适应测试:局外人的观点
蒂姆·麦克纳马拉，博士，副教授，墨尔本大学语言与应用语言学系

技术创新的评估形式不可避免地会令人兴奋，但这种创新需要在广泛的评估需要的范围内进行评估。CAT能做什么，不能做什么?本文从当前评价思想，特别是绩效评价的角度来评价CAT。

通过计算机适应测试测试阅读能力的内容考虑
Jerry Larson博士，杨百翰大学人文研究中心主任兼西班牙语教授

本报告将集中讨论与阅读能力计算机适应测试项目内容相关的问题。特别需要关注的是，需要提供在各种语言环境中代表当前语言的阅读文章。演示CAT算法，以实现适当的项目选择。

检验用于发展第二语言听力理解的内容和测量模型的效用和适当性:对进一步发展综合语言理解的启示
帕特里夏·邓克尔，乔治亚州立大学应用语言学和英语教学系教授兼讲座教授

首先介绍多媒体听力理解在ESL和豪萨语中的研究和发展。然后，主讲人将分享从开发CATs和在考生学习(或已经学习)ESL和豪萨语时试验项目库中获得的见解。从观察数据和经验中获得的见解将主要讨论与CAT开发人员的决策有关的问题，这些决策涉及以下几个方面:(1)理解内容/任务模型的识别;(二)指定项目编写框架和项目库创建框架;(3)选择Rasch IRT模型作为CAT测量模型;(4)项目选择和停止CAT的算法规范。

面向CAT的结构化题库集成学习与测试
John de Jong博士，荷兰国家教育测量研究所(cto)语言测试部门负责人

从全球的角度来看，有大量的工具可以用来测试外语阅读理解。然而，仔细观察，这些工具中似乎有许多质量不高，而且大多数集中在有限数量的语言的有限数量的领域。考虑到当今社会语言需求的多样性，这种混乱的局面导致了一个悖论，即实际上可用的测试数量远远不够。因此，有人认为，如果教育希望在世纪之交达到市场需求和技术标准，在建立结构化项目银行方面的国际合作是至关重要的。举例和建议将说明如何为CAT建立结构项目库。

用CAT构建阅读强度分布图
J. Michael Linacre，博士，芝加哥大学MESA心理测量实验室副主任

CAT提供了灵活性、彻底性、诊断和测试安全性。阅读短信息可以通过第二语言的多项选择意译进行测试，阅读长文本可以通过定制的第一语言MCQ问题测试。对于筛选使用，时间是最小的。对于位置，较长的测试诊断力量。介绍了试验原理和报告。

托福阅读理解的适应性评估
Daniel R. Eignor，博士，教育测试服务中心首席测量专家

目前在评估托福三个部分中每一个的计算机自适应版本的可行性的过程中，其最后一个目前衡量阅读理解的过程。在本演示文稿中，将讨论选择用于控制已选择的项目曝光的IRT模型，项目选择算法以及用于控制托福读取理解部分的自适应版本的项目曝光的过程以及制作这些选择的原因。

Rasch测量模型的实用效用
Richard Luecht博士，高级心理测量学家，美国国家医学检验委员会计算机适应测试主任

所有的统计模型都是对现实的不完全表达;然而，有些模型是有用的。模型的效用取决于许多因素，包括统计拟合、结构可识别性、参数估计成本和模型选择的实质理论。本文提出了一个评估IRT模型实际效用的综合框架，并以经验证明了相当简洁的Rasch家族模型的整体有用性，特别强调CAT和阅读评估应用。

参观电脑AdaptiveTesting项目页以获取更多信息。