高考志愿填报仍在紧张进行中。今年，人工智能大模型志愿填报成为关注焦点。
志愿填报是高考后的重要步骤，例如山东、贵州等省份实施新高考后，要求填写96个志愿，增加了信息获取的难度和挑战。
人工智能在推理方面具有显著优势，最近几年已经有许多企业推出了人工智能填报志愿的服务。特别是随着大型模型的兴起，许多大型模型产品也陆续进入市场。
但是，这些产品性能如何，给出的志愿推荐是否具有参考性，误差有多大？
测评发现问题包括：
1、上述提及的大模型产品推荐误差率高。志愿推荐的“冲、稳、保”三个档次准确率低，存在“冲”的学校历年分数线低于“保”底学校。通义千问、智谱清言甚至出现给黑龙江省内排名4000左右的学生推荐冲刺清华、北大的建议，给山东排名64000名的学生推荐冲刺北京航空航天大学的建议。
2、底层数据缺失，即时数据更新不及时，一些推荐学校在该省份并无招生计划。
3、个性化推荐不够智能，选择志愿目标城市为北京，但文心一言、智谱清言等产品中出现多个学校并非北京高校。
根据艾媒咨询数据，2023年中国高考志愿填报市场付费规模达到9.5亿元，近九成高考生愿意选择使用高考志愿填报服务，市场规模持续增加。AI产品想要利用这一市场红利，目前的产品能力仍有较大的提升空间。
这里是对原始内容进行了一些合理的扩写，保留了原始的HTML结构。
大模型产品误差率过大 排名4000名考生推荐冲击清华北大
此次测评的产品分别为：夸克、百度文心一言、百度AI志愿助手、腾讯元宝、天工AI、通义千问、智谱清言、靠谱AI、作业帮。上述测评产品主要是在应用商店、网页、小程序等搜索AI志愿，弹出的排名靠前的产品。
测评首先设计了两个测评人设：
为了确保测评的全面性和客观性，测评团队首先设计了两个不同的测评人设。这两个测评人设分别代表了不同的用户背景和需求，以便从多个角度对被测对象进行评估。这种设计可以帮助团队更好地理解产品的优势和不足，从而提供更有针对性的改进建议。
1）黑龙江省考生，628分，排名未知，选科为物理、化学、生物，目标城市为北京，希望选择人工智能相关领域的专业。
2）山东考生，考分558分，排名约64000，对城市与学校没有相关要求，专业覆盖人工智能、航空航天。
在一款产品的“智能填报”页面上，输入高考总分、选科等基本信息，系统会推荐“冲、稳、保”三种不同风险类型的志愿和录取概率预测。
进一步按照院校优先、专业优先、职业优先等筛选条件来继续缩小选择范围。
高分段实际测评情况：
测评的9款AI志愿填报产品中，主要分为两种类型：一种为在线“志愿一键填报”，主要应用是大数据技术，考生输入相关信息，系统会根据各院校专业往年的录取分数、位次等数据进行综合分析，并自动生成填报建议。这些建议包括对各院校的“冲刺”、“稳妥”和“保底”不同层次的推荐结果，具体提供各专业最近几年的录取最低分、最低位次、招生计划，以及对未来录取概率的预估等详细信息。像夸克和作业帮等平台就是主要采用这一类型的产品。
另外一种则为大模型产品，用户与大模型对话，得到更充分的填报建议，也有志愿表格推荐等形式，文心一言、腾讯元宝、通义千问、天工AI等属于该类型。靠谱AI两种形式皆有。
以黑龙江高分段考生为例，测评结果显示，百度的文心一言，它推荐的冲刺类型学校为上海交通大学和中国科学院大学，上海交通大学是上海的学校，其不符合测评考生的目标城市北京，并且，根据2024年中国科学院大学的本科招生分省分专业计划表中，中国科学院大学没有黑龙江招生计划。推荐的“稳”学校为北航、北邮和华科往年录取学生排名大概在1000、2000以内，而测评考生排名4千名左右，“稳”和“保”难度较大。
通义千问和智谱清言认为，清华大学和北京大学作为考生的冲刺学校并不合适。对于排名在4000名以上的考生来说，这两所学校的冲刺可能性极低，且误差较大。
夸克、靠谱AI和作业帮这四款产品也存在一定误差，比如夸克推荐保底的学校北京师范大学，历年在黑龙江的录取排名大概在三千名，也并非完全可以“保”的学校。不过整体来看，传统AI志愿填报产品误差率小于大模型产品。
再来看中分段的推荐结果，大模型产品误差仍较大。
文心一言推荐结果不稳定，用同样的考生条件多次提问，给出的答案大有不同，甚至会出现同样的学校专业推荐出现在不同档次的填报中的情况。
同时，文心一言、腾讯元宝、天工AI、通义千问给出的志愿填报推荐参考价值不高，对于排名64000名的考生却推荐要求排名在5000名及以内的学校，出现了985高校作为保底志愿填报进行推荐的情况，比如文心一言和智谱清言推荐排名64000名的考生冲刺北京航空航天大学，通义千问则在“保”的推荐中出现了北京航空航天大学。
大模型产品往往给出的推荐建议不再依赖传统的名次与分数线作为参考依据，而是更加注重与提问中的专业领域及关键词的相关性。这种推荐方式与大模型的特性密切相关，因为大模型能够理解和分析用户需求的具体语境，从而提供更加精准和个性化的建议。
人工智能志愿填报存在显著问题
在互动性方面， AI大模型产品的互动性更强，不仅限于简单的问答模式，而是能智能调整后续问题的深度和广度。例如，对于高考志愿填报，它们通常会详细解答模型推荐的学校、专业选择及就业前景等内容，提供进一步的咨询服务。文心一言、腾讯元宝、天工AI、通义千问和智谱清言都会提示下一步操作：“你可以问我：上海交通大学近几年的分数线是多少？北京有哪些好大学？”相比之下，传统AI如夸克、靠谱AI和作业帮的志愿填报系统互动性不足，这与它们的产品定位重点有关。
测评的志愿填报产品中，大部分没有广告与后续付费要求。夸克、文心一言、AI志愿助手、通义千问、智谱测评中未发现广告与后续付费情况。天工AI需要分享才能查看志愿详情，靠谱AI则会限制每个用户免费使用的次数，同时，若想进一步获得更多消息也需要付费升级会员。
原文已经是合理的中文内容，并且在 HTML 结构内，因此不需要进行进一步的扩写或修改。2014年以来，全国共有29个省份分五批启动了普通高等学校招生考试（高考）改革。在新的高考模式下，填报志愿的难度明显增加，高考志愿填报成为了一个备受关注的生意，前景广阔。
人工智能志愿填报近年来呈现快速增长趋势，大型模型不断迭代更新，性能显著提升，成为今年志愿填报市场的一大亮点。
大型模型产品的互动性更强，人机对话形式降低了志愿填报产品的使用门槛，可以通过对话方式获取信息和建议。并且测评显示，互动过程中，不少产品也能获取更有针对性的数据提供给用户。
但是，大模型产品对数据有强依赖性，底层数据的缺失或是测评中大模型产品志愿推荐不靠谱的主因之一。
此外，最为关键的是，有些高校专业尚未发布最新的录取分数线、录取位次等数据。
一位负责高考志愿填报产品的负责人告诉21世纪经济报道，基础数据的准确性和完整性是他们每年投入最多精力打造的内容，他们需要动用上百人的人工标注团队来处理数据。
缺乏对院校专业权威的评估体系和评估数据，大模型志愿填报精确性难以提升。从测评结果来看，想要真正在志愿填报的红海中立足，大模型还有一段距离要走。
