در این طرح، جامعه و جهان مشاهدات قابل قبول (که شامل دو رویه متقاطع است) متقاطعاند. نمره مشاهده شده هر فرد در یک سوال که توسط یک ارزیاب داده شده است به عوامل زیر تجزیه می شود: یک اثر برای میانگین اصلی؛ سه اثر برای فرد، سوال و ارزیاب؛ سه اثر تعاملی دو طرفه (pr، pi، ri) و اثر باقی مانده (تعامل سه طرفه pir باضافه ی خطای تصادفی). واریانس نمره مشاهده شده، در سراسر جامعه افراد و سطوح در جهان مشاهدات قابل قبول به هفت مؤلفه واریانس مستقل مطابق زیر تجزیه می شود:
نمودار این طرح به صورت زیر نمایش داده می شود:
pr
pir
ri
pi
نمودار ۲-۳: طرح ۳
برآورد مؤلفه های واریانس
همانطور که فن و سان (۲۰۱۳) بیان کرده اند؛ در هر مطالعه تعداد متفاوتی از مؤلفه های واریانس به کار گرفته می شود که بستگی به طرح مطالعه و نوع تفسیر اندازهها دارد. از مؤلفه های واریانس برآورد شده در مطالعه G میتوان جهت برآورد واریانس نمره جهان، واریانس های خطا و ضرایب اعتبار مانند برای جهان تعمیم و طرحهای مطالعه D استفاده کرد. مؤلفه های واریانس را می توان با بهره گرفتن از ترکیب نظری میانگین مجذورات که میانگین مجذورات مورد انتظار[۷۹] (EMS) نامیده می شود برآورد کرد. یعنی با بهره گرفتن از روش تحلیل واریانس، میانگین مجذورات MS بهدست آمده برای هر مؤلفه، در معادلات EMS مربوط به آن مؤلفه قرار داده می شود و بدین ترتیب مؤلفه های واریانس به دست می آیند. البته با روشهای دیگری همچون بیشینه درستنمایی نیز برآورد مؤلفه های واریانس امکان پذیر است. برای طرح ۱ که پیش از این توصیف شد- طرحی که در آن نمونه ای از فرد به سوال پاسخ میدهد- در قالب جدول زیر فرمولهای مربوط به برآورد هر مؤلفه واریانس (ECV) ارائه می شود.
جدول ۲-۴: طرح یک رویه ای i P× مطالعهG – اثرات تصادفی
منبع واریانس | MS | EMS | ECV |
فرد () | |||
سوال () | |||
انواع تصمیم و واریانسهای خطا
در یک وضعیت اندازه گیری، نوع تفسیر نمره (هنجار در مقابل ملاکمرجع) تعیین می کند که کدام تصمیم (نسبی یا مطلق) مناسب است و واریانس خطا به طور متفاوتی برای هر نوع از تصمیم تعریف می شود. یک تصمیم مطلق[۸۰] است اگر تصمیم درباره افراد مبنی بر نمراتشان در ارتباط با یک ملاک باشد. به بیانی دیگر، تصمیم مطلق بر روی سطح عملکرد افراد بدون توجه به رتبهی آنها متمرکز است و در ارتباط با ثبات جایگاه نسبی افراد و هم ثبات نمرات واقعی است. واریانس خطا برای تصمیم مطلق را با علامت نشان می دهند و آنرا واریانس خطای مطلق[۸۱] می نامند که شامل همه مؤلفه های واریانس مدل به جز هدف اندازه گیری است. این نوع واریانس بیانگر تفاوت میان نمره مشاهده شده و نمره جهان فرد است. یک تصمیم نسبی[۸۲] است اگر تصمیم درباره افراد مبتنی بر جایگاهشان در ارتباط با دیگران باشد. این نوع تصمیم بر روی تفسیر نمره هنجارمرجع متمرکز است. یعنی نمرات اندازه گیری برای متمایز کردن آزمودنیها به کار میروند. اعتبار اندازه گیری در این حالت مربوط به ثبات جایگاه نسبی افراد است نه در مورد ثبات نمرات واقعی. واریانس خطا برای تصمیم نسبی را با علامت نشان می دهند و آن را واریانس خطای نسبی[۸۳] مینامند. این نوع واریانس شامل همه ی مؤلفه های واریانس تعاملی است که هدف اندازه گیری را در بر میگیرد. واریانس خطای نسبی به صورت تفاوت میان نمره انحرافی مشاهده شده شخص[۸۴] و نمره انحرافی جهان[۸۵] او تعریف می شود. این نوع واریانس مشابه واریانس خطا در CTT است. ریشه دوم واریانسهای خطا (نسبی و مطلق)، برآوردی از خطای استاندارد اندازه گیری (نسبی و مطلق) است که میتوان از آن در جهت ساخت فواصل اطمینان حول نمره جهان فرد استفاده کرد.
در کل واریانس خطای نسبی کمتر از واریانس خطای مطلق است زیرا شامل مؤلفه های واریانس کمتری است. این نشان میدهد که تفسیرهای نسبی در مورد نمرات افراد نسبت به تفسیرهای مطلق کمتر مستعد خطا هستند. در شکل زیر، تفاوت میان خطای مطلق و خطای نسبی طرح P×I نشان داده شده است. قسمت های هاشور خورده، سهم واریانس خطا تحت سطوح مختلف است.
خطای مطلق خطای نسبی
نمودار ۲-۴: سهم واریانس خطای نسبی و مطلق در طرح یک رویهای متقاطع
واریانس خطا برای این طرح در صورتی که تصمیم نسبی باشد :
همچنین، واریانس خطا برای تصمیمهای مطلق به صورت زیر تعریف می شود:
اگر رویه موجود در طرح، رویه سوال باشد؛ تعداد سوالات تعریف شده در مطالعه D است (برنان، a 2010؛ وب و شیولسون، ۲۰۰۵؛ فن و سان، ۲۰۱۳).
انواع ضرایب
هنگامی که در مورد مفهومسازی خطا (نسبی در مقابل مطلق) تصمیم گرفته شد، سطوح اندازه گیری مختلفی در سنجش اعتبار به کار میرود. ضریب اعتبار و محاسبه آن بستگی به مفهومسازی خطای از پیش تعیین شده به عنوان مطلق یا نسبی دارد. به بیان دیگر، GT میان دو نوع ضریب اعتبار تمایز می گذارد:
اولین، ضریب تعمیمپذیری (ضریب G) است و زمانی به کار میرود که تصمیمها نسبی هستند. این ضریب، همه منابع خطایی که جایگاه نسبی افراد را تحت تأثیر قرار میدهد (تعاملات هر رویه با هدف اندازه گیری) را در بر میگیرد. ضریب G را با علائم یا نمایش می دهند و فرمول آن به صورت زیر میباشد:
دومین، شاخص اتکاپذیری () است و برای تصمیمهای مطلق به کار میرود. این شاخص، همه مؤلفه های واریانس به غیر از هدف اندازه گیری را در بر میگیرد و به صورت زیر فرمولبندی می شود:
تفاوت ضریب تعمیم پذیری و شاخص اتکاپذیری در این است که اولی شامل واریانس خطای نسبی و دومی شامل واریانس خطای مطلق است. بنابراین شاخص اتکاپذیری عموماً کمتر از ضریب تعمیمپذیری است(همان منبع).