تقييم أعضاء هيئة التدريس للمهام

الأدانية لطلبة قسم علم النفس باستخدام

سلم التقدير الكلي والتحليلي

Faculty Members' Assessment of the Performance Tasks of the Psychology Department's Students Using the Holistic and Analytical Rubrics?

?تهدف الدراسة إلى معرفة تأثير استخدام نماذج سلم التقدير الكلي والتحليلي على تقييم مهام الطلاب الأدائية لطلبة قسم علم النفس ومقارنتها مع طريقة التقييم التقليدية، تم توزيع 60 من أعضاء هيئة التدريس بقسم علم النفس بشكل عشوائي على ثلاث مجموعات تستخدم طرق تقييم مختلفة: (كلية، تحليلية، تقليدية)، تم تحليل درجات تقييم الأداء وتأثير نوع الجنس والمستوى الأكاديمي على تقييم الأداء. كشف اختبار كروسكال-واليس عن اختلافات كبيرة في درجات التقييم عبر المجموعات الثلاث، مع تحقيق مجموعة التقييم التحليلي أعلى رتبة، تليها المجموعة الكلية ثم المجموعة التقليدية، وقد أشارت المقارنات اللاحقة إلى وجود فروق ذات دلالة إحصائية بين المجموعة التقليدية وكل من المجموعتين الكلية والمجموعات التحليلية، كما أشارت النتائج الى عدم وجود فرق دال إحصائيًا بين المجموعتين الكلية والتحليلية. وأشار تحليل حجم التأثير إلى وجود تأثير كبير لطرق التقييم الكلية والتحليلية على تقييم أداء المهام. وأشارت نتائج الدراسة كذلك إلى عدم وجود فروق ذات دلالة إحصائية تعزى إلى نوع الجنس أو المستوى الأكاديمي لأعضاء هيئة التدريس في تقييم الأداء لكل من سلم التقدير الكلي وسلم التقدير التحليلي، مما يشير إلى عدم تحيز هذه الطرق في تقييم الأداء. وبناءً على النتائج توصي الدراسة باستخدام سلم التقدير التحليلي والكلي لتقييم المهام كونها أكثر فعالية في تقييم أداء الطلبة مقارنة بالطريقة التقليدية.      

الكلمات الدالة: سلم التقدير الكلي، سلم التقدير التحليلي، التقييم.  

Abstract 

This study aims at determining the effect of using the holistic and analytical rubrics on assessing students’ performance in the Psychology Department and to compare it with the traditional grading method. 60 faculty members in the Department of Psychology were randomly distributed into three groups that used holistic rubric, analytical rubric, and traditional assessment method, to assess a student's performance task. Assessed scores were analyzed as well as the effect of gender and academic level of the faculty members. The Kruskal-Wallis test revealed significant differences in assessment scores across the three groups with the analytical rubric group achieving the highest mean rank, followed by the holistic rubric group, and then the traditional group. Post-hoc comparisons indicated that there were statistically significant differences between the traditional group and both the holistic and analytical groups, but there was no significant statistical difference between the holistic and analytical groups. Effect size analysis indicated that there was a significant effect of the holistic and analytical rubric methods on assessing task performance. The study also resulted in no significant statistical differences in assessing task performance due to the gender or academic level of faculty members in both the holistic and the analytical rubric scales, which indicates that these methods are not biased in assessing students’ performance. The study recommends using the analytical and holistic rubrics to assess tasks as it is more effective in evaluating students’ performance compared to the traditional method.    

Keywords: Holistic rubric scale, Analytical rubric scale, Assessment 

??  

أولًا: المراجع العربية: 

أبو عبيد، أحمد علي خلف. (2011). طريقة قواعد التصحيح (SCORING RUBRICS) في تقييم الأداء وأثرها في تحصيل واتجاهات طلاب الصف الأول الثانوي نحو مادة الرياضيات. مجلة دراسات نفسية وتربوية، ع 7، 25 - 57.  

جامعة الإمام محمد بن سعود الإسلامية (د. ت.). قسم علم النفس: التعريف بالقسم. مسترجع بتاريخ أبريل 13، 2024، من موقع https://units.imamu.edu.sa/administrations/Psychology/profile/Pages/default.aspx 

السرحاني، محمد بن فاهد سالم. (2016). فاعلية استخدام قواعد تقدير الأداء التحليلية لحل المشكلات الرياضية في تنمية التحصيل الدراسي لدى عينة من طلاب الصف الأول المتوسط بمنطقة الجوف. مجلة التربية، ع171, ج1، 664 - 684.  

ظاظا، حيدر. (2021). بناء سُلَّمْ تقدير لفظي" روبرك" لمراجعة الأقران للمخْطُوطُ البحثي في العلوم التربوية والنفسية. دراسات: العلوم التربوية, 48(2) , 127–143.  

عبود، يسري زكي. (2019). أثر استخدام مقاييس التقدير المتدرجة على التحصيل الدراسي والكفاءة الذاتية الأكاديمية ومهارات التقويم الذاتي لدى طالبات كلية التربية في جامعة الملك فيصل. رسالة الخليج العربي، س40, ع151، 77 - 95.  

الغامدي، احمد إبراهيم ساعد. (2022). تقييم التحصيل الدراسي للمقررات العملية باستخدام مقياس التقدير المتدرج لطلاب التربية الفنية بجامعة الباحة. بحوث في التربية الفنية والفنون, 22(2) , 189-208. 

ثانيًا: ترجمة المراجع العربية  

Abu Obaid, Ahmed Ali Khalaf. (2011). The SCORING RUBRICS method in performance evaluation and its impact on the achievement and attitudes of first-year secondary school students towards mathematics. Journal of Psychological and Educational Studies, No. 7, 25 - 57.  

Imam Muhammad bin Saud Islamic University (n.d.). Department of Psychology: Introduction to the Department. Retrieved on April 13, 2024, from https://units.imamu.edu.sa/administrations/Psychology/profile/-Pages/default.aspx.  

Al-Sarhani, Muhammad bin Fahed Salem. (2016). The effectiveness of using analytical performance assessment rules to solve mathematical problems in developing academic achievement among a sample of first-year middle school students in Al-Jawf region. Journal of Education, No. 171, Vol. 1, 664 - 684. 

Dhada, Haider. (2021). Building a Rubric Verbal Rating Scale for Peer Review of Research Manuscripts in Educational and Psychological Sciences. Studies: Educational Sciences, 48(2), 127–143. 

Aboud, Yasser Zaki. (2019). The Effect of Using Graduated Rating Scales on Academic Achievement, Academic Self-Efficacy, and Self-Assessment Skills of Female Students of the College of Education at King Faisal University. Arabian Gulf Message, Vol. 40, No. 151, 77–95. 

Al-Ghamdi, Ahmed Ibrahim Saed. (2022). Evaluation of Academic Achievement of Practical Courses Using the Graduated Rating Scale for Art Education Students at Al-Baha University. Research in Art Education and Arts, 22(2), 189–208. 

ثالثًا: المراجع الأجنبية: 

Allen, D., & Tanner, K. (2006). Rubrics: tools for making learning goals and evaluation criteria explicit for both teachers and learners. CBE life sciences education, 5(3), 197–203. 

Andrade, H., & Du, Y. (2005). Student responses to criteria-referenced self-assessment. Assessment & Evaluation in Higher Education, 30(1), 87–102. 

Bharuthram, S., & Patel, M. (2017). Co-constructing a rubric checklist with first year university students: A self-assessment tool. Apples - Journal of Applied Language Studies, 11(4), 35–55. 

Black, P. J., &Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy and Practice, 5(1), 7-74. 

Bloxham, S., & Boyd, P. (2022). Developing Holistic Rubrics for University Assessments: Ensuring Fairness and Transparency. Assessment in Education: Principles, Policy & Practice, 29(2), 170-185. 

Bresciani, M. J. (2006). Outcomes-Based Academic and Co-Curricular Program Review: A Compilation of Institutional Good Practices. Stylus Publishing, LLC. 

Brookhart, S. M. (2013). How to create and use rubrics for formative assessment and grading. Alexandria, VA: Association for Supervision & Curriculum Development (ASCD). 

Brookhart, S. M., & Chen, F. (2015). The quality and effectiveness of descriptive rubrics. Educational Review, 67(3), 343-368. 

Chukwuere, J. E. (2021). The comparisons between the use of analytic and holistic rubrics in information systems discipline. Academia Letters, Article 3579. 

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2. Auflage). Hillsdale, NJ: Erlbaum. 

Cohen, R. J., & Swerdlik, M. E. (2017). Psychological Testing and Assessment: An Introduction to Tests and Measurement (9th ed.). McGraw-Hill Education. 

Dawson, P. (2017). Assessment Rubrics: Towards Clearer and More Replicable Design, Research and Practice. Assessment & Evaluation in Higher Education, 42(3), 347-360. 

Ebel, R. L., &Frisbie, D. A. (1986). Essentials of educational measurement ( 4th ed.). Englewood Cliffs, NJ: Prentice-Hall. 

Garc?a-Ros, R., Ruescas-Nicolau, M. A., Cez?n-Serrano, N., Carrasco, J. J., Pérez-Alenda, S., Sastre-Arbona, C., San Mart?n-Valenzuela, C., Flor-Rufino, C., & S?nchez-S?nchez, M. L. (2021). Students' Perceptions of Instructional Rubrics in Neurological Physical Therapy and Their Effects on Students' Engagement and Course Satisfaction. International journal of environmental research and public health, 18(9), 4957.  

Gibbs, G., & Simpson, C. (2023). Assessing Student Work: Holistic vs. Analytical Rubrics and Their Impact on Grading Consistency. Teaching in Higher Education, 28(3), 340-355. 

Gikandi, J. W., Morrow, D., & Davis, N. E. (2011). Online formative assessment in higher education: A review of the literature. Computers & Education, 57(4), 2333-2351.  

Goulden, N. R. (1994). Relationship of analytic and holistic methods to raters' scores for speeches. Journal of Research & Development in Education, 27(2), 73–82. 

J?nsson, A., & Balan, A. (2018). Analytic or holistic: a study of agreement between different grading models. Practical Assessment, Research & Evaluation, 23(12). 

Jonsson, A., &Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130–144. 

Koizumi, R, In’nami Y., & Fukazawa, M. (2020). Comparison between holistic and analytic rubrics of a paired oral test. JLTA Journal, 23, 57–77.  

Lawshe, C. H. (1975). The quantitative approach to content validity. Personnel Psychology, 28,563-575. 

Maclellan, E. (2004). Assessment for learning: The differing perceptions of tutors and students. Assessment & Evaluation in Higher Education, 29(3), 309-322. 

Mertler, Craig A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research, and Evaluation, Vol. 7, Article 25.  

Moskal, B. M. (2000). Scoring Rubrics: What, When, and How?. Practical Assessment, Research & Evaluation, 7(1): 3.  

Panadero, E., & Alonso-Tapia, J. (2021). Rubrics for Assessment: A Review and New Directions. Assessment & Evaluation in Higher Education, 46(1), 17-31. 

Panadero, E., & Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational Research Review, 9, 129-144. 

Panadero, E., Jonsson, A., &Strijbos, J. W. (2016). Scaffolding self-regulated learning through self-assessment and peer assessment: Guidelines for classroom implementation. International Journal of Technology and Design Education, 26(2), 221–236. 

Panadero, E., Jonsson, A., Pinedo, L., & Fern?ndez-Castilla, B. (2023). Effects of Rubrics on Academic Performance, Self-Regulated Learning, and self-Efficacy: a Meta-analytic Review. Educational Psychology Review, 35(4), 113.  

Putri, E. S., &Melani, M. (2022). Holistic Vs. Analytic Evaluation In Writing Test Of Eighth Grade Students. Journal Of English Language Studies, 7(1), 60–77.  

Reddy, Y. M., & Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448. 

Reddy, Y. M., & Andrade, H. L. (2021). Impact of Rubric Type on Student Learning Outcomes: Holistic vs. Analytical Rubrics. Assessment & Evaluation in Higher Education, 46(4), 567-581. 

Sadler, D. R. (2009). Indeterminacy in the use of preset criteria for assessment and grading. Assessment & Evaluation in Higher Education, 34(2), 159-179. 

Selke, M. J. G. (2013). Rubric assessment goes to college: Objective, comprehensive evaluation of student work. Lanham, MD: Rowman & Littlefield. 

Stevens, D. D., & Levi, A. (2013). Introduction to rubrics: an assessment tool to save grading time, convey effective feedback, and promote student learning. 2nd ed. Sterling, Va., Stylus. 

Taras, M. (2005). Assessment – summative and formative – some theoretical reflections. British Journal of Educational Studies, 53(4), 466–478. 

Timmerman, T. A., & Karp, D. R. (2011). The influence of gender on students' evaluation of teaching: A metaanalysis. Research in Higher Education, 52(7), 545-567. 

Tomas, C., Whitt, E., Lavelle-Hill, R., & Severn, K. (2019). Modelling holistic marks with analytic rubrics. Frontiers in Education: Assessment, Testing and Applied Measurement, 4(89). 

Trochim, W. M., & Donnelly, J. P. (2008). The research methods knowledge base (3rd ed.).  

Tshering, &Phu-ampai, S. (2022). Effects of Using Rubrics on the Learning Achievement of Students in Educational Assessment and Evaluation. Educational Innovation and Practice, 3(1), 75–88.  

Walvoord, B.E. (2010). Assessment Clear and Simple: A practical guide for institutions, departments, and general education, 2E. San Francisco, CA: Jossey Bass.  

Wiggins, G., & McTighe, J. (1998). Understanding by Design. Alexandria, VA: Association for Supervision and Curriculum Development. 

Wolf, K., & Stevens, E.A. (2007). The Role of Rubrics in Advancing and Assessing Student Learning. The Journal of Effective Teaching, 7, 3-14. 

Yamanishi, H., Ono, M., &Hijikata, Y. (2019). Developing a scoring rubric for L2 summary writing: a hybrid approach combining analytic and holistic assessment. Language Testing in Asia, 9, 1-22. 

Yune, S. J., Lee, S. Y., Im, S. J., Kam, B. S., &Baek, S. Y. (2018). Holistic rubric vs. analytic rubric for measuring clinical performance levels in medical students. BMC medical education, 18(1), 124.