Feedback是学习过程的重要组成部分。因为自我评估是出了名的不准确，1将观察到的表现与客观标准相比较的评估越来越受到重视。2，3.这些客观标准已经在研究生医学教育认证委员会(ACGME)里程碑项目中得到了编纂，4它通过使用发展进展模型的纵向评估来指定总结性临床能力。里程碑是指基于能力的成果(如知识和绩效)发展中的一个重要节点。5里程碑可以跟踪学习者的进步，并就观察到的成绩与预期标准之间的评估差距向学习者提供反馈，这可能有助于提高成绩。6尽管ACGME要求常驻学习者收到关于其表现的反馈，但很少有关于如何将里程碑评估结果传达给常驻学习者的指导。没有明确的指导方针，目前尚不确定里程碑反馈过程是什么，或者里程碑反馈是否甚至被提供给神经外科住院学习者。开云体育app官方网站下载入口
反馈的目标是磨练刻意的练习，以达到专业水平。7此外，反馈应该是为了学习而不是为了学习。3.因此，反馈旨在交流学习者与标准相关的表现进展，为学习者提供改进和提高表现的信息，并为学习者提供工具，以便更准确地自我评估他们的表现，以预测未来的独立实践。8
虽然反馈的重要性已被普遍接受，8反馈的影响是可变的。反馈可以改善或阻碍绩效，这取决于它的质量。9，10反馈是参与者之间复杂互动的结果2并且取决于情境。11反馈的有效性受到教师、学习者、传递的信息、传递的特征、学习者对信息的接受度、12，13以及反馈传递的具体情况，但这些组件仍然知之甚少。2
尽管它的重要性得到公认，常驻学习者并不觉得他们得到了适当的、及时的和有用的反馈。2013年的ACGME居民调查显示，对反馈的满意度很低，尽管没有特别针对里程碑的问题。14此外，多达三分之一的学习者认为教师没有对他们的表现提供足够的反馈。15然而，在这两种情况下，形成性反馈可能占主导地位，并且缺乏涉及从里程碑标准接收反馈的研究。
在这项研究中，我们记录了目前梅奥诊所神经外科住院医师学习者的里程碑反馈状态。开云体育app官方网站下载入口本研究主要探讨受训者对反馈传递的感知，以及反馈传递对提高学习者绩效的有效性。希望这项描述性研究将作为未来教育干预的基线，旨在优化反馈过程。
开云体育世界杯赔率
在机构审查委员会批准后，梅奥诊所的项目评估和教育主任(K.F.)对10名住院学员进行了面对面的采访，他之前没有与神经外科学员接触过。所有完成至少两次神经外科轮转和在主要医院轮转的学员都有资格参加这项研究。向学员提供了有关研究目标、面试程序和收集的个人指标的信息，所有符合条件的居民都选择参与。
每隔15分钟进行一次采访。每次访谈都通过具体检查交付机制、反馈文化以及通过一系列问题、提示和后续调查(表1)．访谈被专业逐字转录，并导入NVIVO版本11.3 (QRS International)。
培训生面试问题
| 特定的目标 | 基本原理 | 问题 | 提示 | 后续 |
|---|---|---|---|---|
| 反馈交付方法 | 传送机制 | 请描述里程碑反馈是如何报告给每个学员的。 | 谁负责报道? | 学员对交付方式有改进建议吗? |
| 这种情况发生在哪里? | ||||
| 使用什么沟通方式? | ||||
| 初次接触后的进一步反馈? | ||||
| 反馈文化 | 你对收到反馈的态度是什么? | 描述参与。 | 学员们是否觉得他们的态度有影响?如何影响? | |
| 你觉得导师对提供反馈的态度如何? | 形容态度。 | 学员是否觉得导师的态度有影响?如何影响? | ||
| 描述给予/接受的意愿。 | ||||
| 描述无形的东西(例如，尴尬)。 | ||||
| 评价反馈 | 反馈有用吗? | 你如何利用反馈? | 你如何评估你是否做出了改变? | |
| 针对这些反馈，你做了哪些改变? | 反馈是否改变了你对自己表现的看法/是否准确? | 如果做出了改变，你如何评估这些改变是否有效?更多的反馈? | ||
| 这些变化有多持久? | 如果没有，为什么? | |||
| 这些变化会持续多久? |
收集了有关学习者和教师人口统计的信息。这包括年龄、性别和研究生年级(PGY)水平(居民)。使用矩阵框架方法对编码数据进行定性分析，并与人口数据进行比较，16- - - - - -18允许定义反馈、反馈传递和反馈影响的先验主题与分析过程中发现的从头主题相结合。主题的探索和确定侧重于反应模式，并叙述组织从描述到解释。先验主题包括居民对反馈定义的感知，包括形成性反馈、总结性反馈和里程碑反馈;交付机制和反馈文化;反馈障碍;以及反馈对业绩的影响。认识到并探讨了反馈过程中的性别偏见这一全新主题。
结果
在所有关于反馈定义、反馈传递和反馈影响的先验主题中，以及在反馈中的性别偏见的从头主题中，主题饱和达到;19，20.概念范畴是完整的。值得注意的是，梅奥诊所神经外科住院医师实习开云体育app官方网站下载入口生被分配到一个或两个主治医生，为期3个月。虽然受训者可以与其他主治医生一起工作，但轮转总结性评估只能由指定的主治医生进行。一年两次的里程碑评估由所有主治医师亲自与受训者互动完成。
反馈的定义
住院医生将反馈定义为“对表现的批评”或对表现的“解释”。大多数学员明确区分了形成性反馈和总结性反馈。大多数居民认为这是“非正式的”(形成性的)和“正式的”(总结性的)。所有受训者都重视形成性反馈的即时性和特异性，并指出这导致了有意识的行为变化。
总结反馈的两种不同形式被描述:出席驱动和里程碑驱动。传统上，一些主治医师每季度与个别受训者进行面对面的评估，以评估整体表现，这种评估受到重视，但没有达到形成性反馈的程度。所有主治医生都提供了书面的总结性意见，这些意见很受赞赏，但注意到不具体，很少对实践改变提出建议。
里程碑被理解为理论上提供了进步的客观衡量标准，但对居民的效用却普遍受到批评。许多人认识到里程碑项目的目标是提供进度的基准反馈和他们当前状态的快照，尽管他们不认为里程碑提供了有用的个人数据。例如，有人指出，“我认为(里程碑)有一点缺陷，因为它们假设线性进展，我认为这并不一定准确。”然而，大多数人认为它们是“需要检查的盒子”，但并不“清楚地符合我作为神经外科医生的发展方向”。另一位受访者指出:
我个人的观点是，对标准化我们如何进步的更客观规则的驱动，并没有真正赋予我作为学习者的价值……这是更多的文书工作需要某人填写;它产生的数据，像你这样的人可以研究。
反馈交货
反馈机制
居民们注意到多种反馈传递方法，包括形成性和即时反馈、面对面适度结构化的总结性反馈和里程开云体育世界杯赔率碑式反馈。反馈类型的关键区别是基于即时性和正式性，立即相关，具体和个人的反馈被认为是最有价值的。值得注意的是，里程碑反馈是使用MedHub在线提供的;因此，虽然反馈是可获得的，但它不是亲自提出或解释给居民。
反馈文化
探讨反馈的接受性。所有受训者都希望收到反馈，并且知道使用什么机制来提供反馈。许多人指出，积极的反馈有助于加强具体的活动。总的来说，大多数人都注意到积极的反馈出现在诸如“干得好”之类的评论中，这些评论受到了热烈的欢迎，但没有学习价值。居民们专注于获得积极的反馈和改善的智慧之珠。在许多情况下，尽管学习价值值得怀疑，但一位居民指出，很高兴能收到积极的反馈，意识到所执行的工作被“注意到”。只有一名居民评论要求反馈，但他指出，“很多人说，‘请给我反馈’，他们的意思是不要给我负面的反馈。”
相反，对负面反馈的接受度是谨慎和多变的。当收到负面反馈时，更多的老年居民更容易接受和反思。然而，与正反馈不同的是，所有的居民都指出，他们在内化反馈之前考虑了反馈的真实性。由于已知错误而给出的反馈被接受，而被认为是错误的反馈或源于员工对不同但可能等价的情况的偏好的反馈则更难纳入学习者的世界观。住院医师评论说，如果经过验证，从负面反馈中学习比从正面反馈中学习更容易内化;“这种反馈不需要二次提醒……我会从错误中学习。”另一个人指出:“即使在接下来的情况下，你也很容易开始尝试去实践别人告诉你的东西。”另一名学员指出，负面反馈“就像一个灯泡”，促使重大改变。
从员工到学员的反馈都是单向的。没有关于质疑或澄清的评论。没有学员将反馈意见作为对话进行评论。积极的反馈几乎被接受，而消极的反馈则被更多地怀疑。
只有一名高级住院医师提到要向另一名实习生提供反馈。学员采用面对面的方法，并指出学员的行为差异被注意到并持续存在。没有其他住院医生对向学员或工作人员提供反馈意见发表评论。
反馈的质量
学员报告说，反馈的质量是可变的，取决于工作人员和交付方法。即时面对面的反馈被认为是最有价值的，因为它的特殊性和与所讨论的行为的接近性。与特定工作人员面对面提出的总结性反馈被认为特别有价值。
以简短的书面陈述形式提供的总结性反馈通常被认为缺乏学习能力:“每个季度只有两到三句话。”总结性反馈的常见例子包括“和你一起工作很愉快”、“干得好”和“应该继续读下去”。很少注意到具体的改进领域或业绩例子。
最后，大多数人认为里程碑反馈的质量并不好。由于“了解你作为学习者的能力的窗口有限”，报告中的不一致，以及类别与经验不相符，这些数据被视为不佳。一位住院医生说:“我可以用这些复选框非常准确地给自己打分……比主治医生还准确。”
反馈的障碍
反馈的最大障碍是信息的真实性。评分者之间的可变性被注意到，因为一些评分者使用这个量表来表示住院期间的进展(正如它所打算的那样)，而另一些评分者则使用它来评估住院医师在其PGY水平上的表现。例如，一些评分者会给表现良好的PGY-2住院医生2或3分，反映他们目前的能力与毕业时期望的里程碑级相关，而另一些评分者会给5分，反映PGY-2住院医生在该轮实习期间的出色表现。受训者始终认为主治的看法是不准确或随机的。一位居民指出，使用里程碑系统可能会导致使用有限的数据进行评估，感觉工作人员“最终要么检查不适用的数据，要么只是检查一个随机数字。”
这与第二个最常见的障碍有关，即所评估的类别可能与轮岗经验无关。学员发现，在他们接触案例和经验的背景下，里程碑信息难以理解。因此，他们发现很难解释里程碑式的性能差距。第三，居民们注意到反馈不够具体，无法提供有意义的改进，尤其是总结性和里程碑性的评估。他们还指出，花在提供反馈上的时间太少、学员接受反馈的意愿以及文化假设。
反馈对业绩的影响
其中一位学员说:“人类最难改变的事情之一就是他们的行为。”所有住院医生都认为即时的、面对面的反馈为学习和实践变革提供了最大的机会。有人拒绝称之为反馈，并指出:“我称之为教学。”大多数人指出，总结性反馈往往过于笼统，无法促使他们改变自己的做法，只是将自己的表现与同行的表现进行比较。一名学员指出，他们无法回忆起什么时候反馈改变了他们的行为，“原因是，大多数反馈都来自这些表格，他们只是检查数字。”通常，反馈被描述为单向的和具体的。一些住院医生指出，他们会记录和审查形成性的反馈，通常会对特定的手术案例进行编码，或者在脑海中有一个清单，如果再次进行这样的手术，他们可以快速回顾。
一个例外是老年居民，他们受到监督，但在实践中相对独立。他们强调积极参与反馈，包括反思和采取深思熟虑的步骤来实现建议的实践变革。他们指出，部分反思包括评估为什么行为会以特定的方式被感知，考虑反馈的真实性，并最终选择是否将反馈纳入实践。我们认识到，不同的治疗模式会随着主治医生的广度而呈现，他们最终会根据自己的知识和经验选择实践路径。
此外，老年居民注意到反馈的情感成分，尽管当时很努力，但这通常是最有影响力的。其中一名患者指出，反馈导致他们有时质疑自己的知识、技能和追求神经外科训练的决定，但经过自我反思，包括建议的改进记录，认为最终是有益的，并提供了内化变化的能力。其中一个描述了一段特别艰难的经历:
我的员工显然对我的表现感到失望;案件发生后[工作人员]立即设置[原文如此他告诉我他很失望，并告诉我我本可以做得更好。当然，那时你会想，我要被炒鱿鱼了。但特别是随着时间的流逝，我回想起那一刻，那是我接受培训的关键时刻，对我的学习非常有效，这些年来，这些工作人员已经成为我最亲密的盟友之一。所以，虽然听起来很难，但这是非常有效的反馈。
相比之下，虽然所有住院医生都对负面反馈感到失望，但初级住院医生证明了他们的反应是正确的。一名学员指出，“对反馈的自然反应之一是感到防御，如果你感到愤怒，愤怒是合理的。”然而，没有一个初级住院医师从他们的情绪反应中注意到积极的结果。
性别偏见
开放式访谈指出，性别偏见是一个持续存在的新主题。所有3名女性居民和7名男性居民都没有被告知他们“缺乏自信”，这些女性认为这种说法是不真实的，是侮辱性的。此外，3名女性中有2名，没有一名男性住院医生认为主治医生会因为住院医生的假定反应而避免负面反馈，其中一名住院医生指出，主治医生害怕“我会对他们发火”。学员详细说明:
就像哦，一切都很好，就像当你问的时候，你知道一切都很好;然后你会听到嘟囔声，就像哦，他们做了这个，那个惹恼了我，这个也惹恼了我，你知道，就像你需要说那个。
没有特定的主题显示基于PGY水平或学员年龄的反馈感知差异，涉及反馈的文化或偏见。没有居民对种族偏见发表评论，尽管这没有被特别调查。
讨论
神经外科培训正日益转向以能力为基础的医学教育(CBME)范式。CBME的目标是关注结果，强调能力，促进以学习者为中心，减少基于时间的培训。21里程碑式评估系统概述了矩阵课程所反映的神经外科培训的核心能力。22在每个领域，学员的能力都反映在从新手到精通的5分制的进步中。因此，里程碑报告可以作为学员能力进步的总结性反馈。
将培训从基于时间的系统转变为基于能力的系统改变了总结性反馈的作用。在基于时间的系统中，总结性反馈是一种“安全检查”，但通常假设学员在培训结束时能够充分胜任。相比之下，在以能力为基础的系统中，总结性反馈充当了把关人的角色。在达到预定的能力水平之前，受训者不能继续他们的培训。为了成功地过渡到以能力为基础的教育，学习者必须相信，用于确定他们进步能力的总结性评估是稳健和公平的。
然而，受训者并不认为里程碑系统足以评估CBME模型或其专业发展的进展。14里程碑反馈旨在作为一种客观的基准测试方法，并确定多个领域的性能差距。然而，这项研究证实，学员认为缺乏及时性、模糊的类别与经验不一致、错误的数据和评分的可变性，所有这些都为个人成长提供了有限的机会。里程碑被视为一个没有教育意义的检查项目。学员更看重面对面的总结性反馈，而不是里程碑式反馈。通常，学员会将里程碑数据与即时的形成性反馈进行对比。形成性反馈被认为具有特殊性，可以在未来的情况下采取行动。随着有组织的神经外科不断完开云体育app官方网站下载入口善里程碑，必须改变两件重要的事情。首先，学员必须认为反馈是准确和公平的，以提高个人实践，并被视为准确的基准评估。其次，反馈的内容必须足够明确，以便为受训者提供有意义的信息，以识别学习差距并实施行为改变。
为了解决反馈的有效性，必须提高次优的评分者之间的可靠性。有证据表明，对里程碑系统的熟悉程度的提高会带来更一致的反馈。里程碑能力分级中丰富的叙述描述符为评分者和受训者提供了清晰度，并反对基于特定培训阶段的预期规范进行评分的倾向。23，24一个被访谈的受训者注意到的抱怨，并在先前的神经外科住院医师计划研究中发现。25在一项涉及放射科、泌尿科和急诊医学住院医生的研究中，第一年住院医生在不断进步的年份中获得了较低的里程碑分数，而在职考试分数没有下降。26这可能表明，临床能力委员会在适当的情况下更容易适当地分配较低的评分，提高反馈的质量和一致性。27为了进一步提高评级的一致性，可以考虑利用国家一级的资源来协调里程碑反馈的办法。26，28
清晰的里程碑和丰富的叙述描述符为学员和评分者提供有意义的信息。受访的住院医生发现很难将里程碑信息与他们的临床经验相一致，并认为这同样影响了评分者评估他们能力的能力。临床经验和里程碑进展目标之间的不一致已经被认为是神经外科培训项目中里程碑系统实施的主要障碍。25事实上，尽管里程碑的目的是提供比总体表现的整体等级更高的保真度，但一项研究指出，能力等级中97%的差异都归因于“整体能力”的评估。29或者评分者表现的一般格式塔。30.
国家神经外科教育机构应考虑改善反馈过程。应继续强调里程碑反馈的发展进阶模型和矩阵课程的使用，以提高评分者之间的信度。以透明方式改进评估的其他工具在反馈的准确性、一致性和学员内在化方面已经证明了实用性。31- - - - - -33一个这样的工具是评估术中表现的Zwisch量表。34此外，反馈并不是片面的。住院医生还应获得工具，以便更好地利用反馈并参与反馈过程。这包括对表现的双向讨论，以及向主治医生提供关于其教育交付的反馈的能力。
令人失望的是，在这项研究中，所有受访的女性学员都认为基于性别的反馈存在缺陷。所有女性都指出，她们被告知“不自信”，而男性同龄人中没有一个人给出同样的反馈。事实上，研究表明，人们对女性的评价通常更苛刻，比如自信，而这些特质被认为是男性化的。35，36此外，所有的女性都认为评估的缺乏自信是错误的。不一致的反馈，包括刻板的男性特征，如自信，不仅会促进性别偏见，还会破坏参加培训的可信度和学员对有效反馈的接受度。37此外，强调男性特征可能会增加女性学员的刻板印象威胁，最终损害绩效。38
受访的女学员还认为，她们得到的反馈比男学员得到的反馈要温和。他们认为这是因为主治医生不愿伤害他们的感情，并且认为女性在情感上比男性更脆弱。由此推断，这种明显的性别偏见可能表明女性居民接受的指导和指导质量较差。这项研究加强了之前的研究，表明评估人员难以评估独立于性别的能力，这最终会影响里程碑的实现。37，39必须进一步改进评估和反馈，以减少神经外科教育中的性别差异。
这项研究的范围有限。在研究反馈时，重要的是要考虑教师对反馈的看法和住院医师的整体表现。这项研究只关注居民对反馈的看法;然而，教师的观点是完成这幅图所必需的，具体地说，教师对反馈文化的印象，学员接受反馈并改变自己行为的意愿，以及教师自己通过接受关于自己表现的反馈来塑造这种行为的意愿。此外，教师和学员的看法应与整体表现和教育轨迹相关。尽管在单个中心内已达到饱和，但在国家层面上探索主题将有助于未来里程碑的改进，并为改进反馈过程的工具的构建提供信息。虽然使用了非专业的面试官，但所有接受面试的学员都知道，收集到的数据将由一名教员研究。如果这项研究在其他机构重复进行，聘请外部评审员将是值得的，因为这可能会增加学员的开放性。
结论
在单中心神经外科住院医师项目中，受训者对反馈的感知暴露了多个改进领域。总结性和里程碑式反馈被批评为模糊，与实践不一致，并且经常被认为是错误的。执行总结性反馈的障碍包括评分者之间的高变异性和发展进程模型的不稳定采用。在提供反馈的程度和使用的语言方面注意到性别偏见。本文可以作为研究里程碑反馈过程改进和优化学习的基准。
披露的信息
作者报告在本研究中使用的材料或方法或本文中指定的发现没有利益冲突。开云体育世界杯赔率
作者的贡献
概念和设计:两位作者。数据采集:两位作者。数据分析和解释:两位作者。文章起草人:克拉克。对文章进行批判性修改:两位作者。审阅提交的手稿版本:克拉克。代表两位作者Clarke批准了手稿的最终版本。研究督导:Clarke。
补充信息
之前的演讲
本文的部分内容在2021年9月20日至21日举行的梅奥诊所-卡罗林斯卡研究所科学会议上口头提出。
参考文献
-
14 ↑
研究生医学教育认证委员会．ACGME 2013年居民调查．2022年6月8日访问。https://www.acgme.org/ads/File/DownloadSurveyReport/60738
-
15 ↑
美国医学院协会．医学院毕业调查问卷:2012年所有学校总结报告．2022年6月8日访问。https://www.aamc.org/download/300448/data/2012gqallschoolssummaryreport.pdf
-
22 ↑
神经外科医生学会，美国神经外科委员会和ACGME神经外科住院医师评审委员会．神经外科的核心能力:矩阵课程．2014年出版。2022年6月8日访问。https://www.societyns.org/Assets/9c7bf5ac-2490-437c-9133-166c8e0938fa/637090703713270000/2-burchiel-sns-matrix-essentials-ppt
