Adaptif Tanı Sınavı: IRT ve CAT ile 15 Soruda Seviye Belirleme
Herkese aynı testi vermek yerine, her katılımcının yanıtına göre bir sonraki maddeyi seçen adaptif tanı yaklaşımını anlayın. IRT, CAT, 15 soruluk tasarımın sınırları ve kurumsal yönetişim kriterleri tek rehberde.
Bir çalışanın ya da öğrencinin seviyesini anlamak için uzun, herkese aynı uygulanan sınavlar her zaman iyi bir başlangıç değildir. Çok kolay maddeler ölçüm bilgisini azaltır; çok zor maddeler ise katılımcının gerçek düzeyini ayırt edemez. Adaptif tanı sınavı, sonraki soruyu önceki yanıtın bilgisine göre seçerek test deneyimini ve ölçüm odağını kişiye yaklaştırır.
Bu yazıda Madde Tepki Kuramı’nı (IRT) ve Computerized Adaptive Testing’i (CAT) sade bir çerçevede açıklıyoruz. “15 soruda seviye belirleme” ifadesini de bir pazarlama vaadi gibi değil, doğru kalibre edilmiş madde bankası ve açık bir kullanım amacı varsa değerlendirilebilecek bir tasarım hedefi olarak ele alıyoruz. Tanı sonucu; tek başına işe alım, terfi, sertifikasyon veya disiplin kararı vermemelidir.
Kuruluşunuzda beceri, rol ve müfredat verileri birlikte ele alınacaksa, Qulak ekibiyle iletişim kurarak adaptif tanı senaryosunun kapsamını, entegrasyon ihtiyaçlarını ve doğrulama adımlarını konuşabilirsiniz. Bu davet, belirli bir modülün veya sonucun garanti edildiği anlamına gelmez.
IRT nedir ve seviye ölçümüne ne katar?
Madde Tepki Kuramı, gözlenen bir yanıtı doğrudan toplam puana indirgemek yerine, yanıtın arkasındaki gizil özellik ile ilişkilendirir. Eğitimde bu özellik bilgi veya beceri düzeyi olabilir. IRT modeli, belirli bir yetenek düzeyindeki kişinin belirli bir maddeyi doğru yanıtlama olasılığını tahmin eder; böylece madde özellikleri ile kişi düzeyi aynı ölçüm çerçevesinde incelenir.
Madde bankasının üç temel sinyali
- Güçlük: Maddenin hangi düzeydeki katılımcılar için zorlayıcı olduğunu ifade eder.
- Ayırt edicilik: Maddenin farklı seviyelerdeki katılımcıları ne kadar iyi ayırdığını gösterir.
- Tahmin olasılığı: Özellikle çoktan seçmeli maddelerde, düşük düzeyde rastlantısal doğru yanıt ihtimalini modellemeye yardımcı olabilir.
Bu parametreler varsayılarak yazılamaz. Madde bankası, yeterli ve uygun bir örneklem üzerinde kalibre edilmeli; alan uzmanları içerik doğruluğunu, ölçme uzmanları da model uyumunu incelemelidir. Yeni bir beceri alanında başlangıçta klasik formlar, pilot uygulama ve uzman incelemesi gerekebilir.
CAT nasıl çalışır? Beş adımlı ölçüm döngüsü
CAT, yalnızca “soruları yapay zekâ seçiyor” demek değildir. Algoritmanın hangi maddeleri, hangi sırayla ve hangi durdurma kuralıyla seçtiği önceden tanımlanmış ölçme tasarımına dayanır. Tipik döngü şöyledir:
Başlangıç tahmini
Katılımcı için başlangıçta nötr bir yetenek tahmini veya daha önce izinle toplanmış güvenilir bir bilgi kullanılır. Bu bilgi, gereksiz kişisel veri taşımamalıdır.
Bilgi değeri yüksek madde seçimi
Algoritma, mevcut tahmini en iyi ayırt etmesi beklenen maddeler arasından birini seçer. İçerik alanı, madde maruziyeti ve güvenlik kısıtları bu seçimi sınırlar.
Yanıtın kaydedilmesi
Doğru-yanlış yanıtın yanında süre veya ipucu kullanımı gibi alanlar yalnızca ölçüm amacı açıkça tanımlanmışsa ve gerekli olduğu gösterilmişse değerlendirilmelidir.
Yetenek ve hata tahmininin güncellenmesi
Yanıt geldikçe tahmin ve standart hata yeniden hesaplanır. CAT’in değeri, yalnızca kısa olması değil, ölçüm belirsizliğini görünür kılmasıdır.
Durdurma ve raporlama
Test; hata eşiği, en az-maksimum madde sayısı, içerik kapsamı veya süre sınırı karşılandığında sona erer. Rapor tahminle birlikte belirsizliği ve kapsamı da sunmalıdır.
15 soru ne zaman anlamlıdır?
On beş madde, dar ve iyi tanımlanmış bir beceri alanında hızlı bir tanı taraması için makul bir başlangıç hipotezi olabilir. Ancak sayı tek başına güvenilirlik ölçüsü değildir. Geniş bir yetkinlik alanı, birden fazla alt beceri, düşük kaliteli maddeler veya yüksek hassasiyet gerektiren bir karar söz konusuysa daha fazla madde ve farklı kanıt kaynakları gerekebilir.
Bu nedenle rapor “Seviye 3” demekle yetinmemeli; hangi beceri çerçevesinin kullanıldığını, tahmin hatasını, yanıtlanmayan alanları ve sonucun hangi kararlar için uygun olmadığını açıklamalıdır. PISA’nın bilgisayar tabanlı değerlendirmelerinde adaptif tasarım, uçlardaki performansı daha iyi ölçme amacıyla kullanılmıştır; bu örnek, CAT’in bağlama ve tasarım ayrıntılarına bağlı olduğunu gösterir.
Kurumsal uygulama için ölçme mimarisi
Bir CAT projesinin başarısı algoritmadan önce ölçme tasarımına bağlıdır. Kurum, “kaç soru?” sorusundan önce “hangi beceriyi, hangi kararı desteklemek için, hangi kanıtla ölçeceğiz?” sorusunu yanıtlamalıdır. Aşağıdaki çerçeve, pilot planı için kullanılabilir.
| Katman | Kontrol sorusu | Çıktı |
|---|---|---|
| Beceri modeli | Seviye tanımları ve alt beceriler uzmanlarca açıklandı mı? | Yetkinlik sözlüğü ve seviye rubriği |
| Madde bankası | Maddeler içerik, dil, erişilebilirlik ve IRT kanıtıyla incelendi mi? | Kalibre edilmiş ve sürümlenmiş madde havuzu |
| CAT kuralları | İçerik kapsamı, madde maruziyeti ve durdurma ölçütleri belirlendi mi? | Seçim algoritması ve güvenlik kısıtları |
| Sonuç katmanı | Belirsizlik, açıklama ve insan incelemesi rapora yansıyor mu? | Tanı raporu, öneri ve itiraz yolu |
| Yönetişim | Veri erişimi, saklama, model değişikliği ve sorumluluklar yazılı mı? | Yetki matrisi, kayıt politikası ve denetim izi |
Qulak’ın beceri-yetkinlik-rol-müfredat zinciri yaklaşımı bu veri ilişkilerini tartışmak için bir çerçeve sunabilir. Bununla birlikte her kurum kendi beceri tanımlarını, içerik sahipliğini ve ölçme kanıtını doğrulamalıdır.
Satın alma ve pilot kararı için tarafsız kontrol tablosu
BoFU aşamasında yalnızca “adaptif” etiketi veya kısa test süresiyle karar vermek risklidir. Tedarikçiden aşağıdaki kanıtları isteyin ve mümkünse sınırlı bir pilotla doğrulayın:
| Kriter | İstenecek kanıt | Kırmızı bayrak |
|---|---|---|
| Ölçme geçerliği | Madde kalibrasyonu, örneklem, hata analizi ve güncelleme yöntemi | Sadece toplam puan veya kaynaksız doğruluk iddiası |
| İçerik kapsamı | Blueprint, alt beceri dengesi, uzman onayı ve erişilebilirlik testi | Algoritmanın içerik boşluklarını kendiliğinden çözeceği varsayımı |
| Şeffaflık | Seçim, durdurma, seviye eşleme ve insan itiraz süreçleri | “Kara kutu” puan veya açıklanamayan seviye |
| Veri ve güvenlik | Veri minimizasyonu, saklama, erişim, silme ve alt işleyen koşulları | Gereksiz kişisel veri toplama veya belirsiz silme politikası |
| Entegrasyon | SSO, LMS/LXP, API, dışa aktarma ve geri dönüş planı | Veri taşınamaması veya yalnızca satıcıya bağlı raporlama |
| Toplam sahip olma maliyeti | Madde üretimi, kalibrasyon, bakım, destek, lisans ve pilot maliyeti | Yalnızca ilk lisans fiyatının karşılaştırılması |
Qulak, özellikle beceri mimarisi ile tanı sonuçlarını öğrenme yoluna bağlamak isteyen ve veri yönetişimi için kurum içi sahiplik kurabilen kuruluşlar için değerlendirilebilir. Değerlendirme öncesinde Qulak’ın güncel kapsamını, IRT/CAT yeteneklerinin hangi koşullarda sunulduğunu, entegrasyon sınırlarını ve sözleşmedeki veri sorumluluklarını yazılı olarak teyit edin. Bu yazı belirli bir ürün özelliğini, performans yüzdesini veya satın alma sonucunu garanti etmez.
Yapay zekâ, veri minimizasyonu ve insan denetimi sınırı
Veriyi amaçla sınırlayın
Adaptif tanı için çoğu senaryoda gerekli çekirdek veri; katılımcı kimliğinin sistem içindeki karşılığı, madde kimliği, yanıt, zaman damgası ve ölçüm bağlamıdır. Kimlik, demografi, davranışsal sinyaller veya serbest metinler ancak açık bir amaç, hukuki dayanak ve fayda analizi varsa ele alınmalıdır. Veriyi takma adlandırmak, erişimi rol bazında sınırlamak ve saklama süresini baştan belirlemek iyi bir başlangıçtır; kurumun KVKK ve ilgili sözleşme yükümlülükleri ayrıca incelenmelidir.
İnsan karar verici olarak kalmalı
Bir model, bir katılımcıyı “düşük seviyede” sınıflandırabilir; fakat bu sonuç öğrenme desteğini kişiselleştirmek için bir sinyal olarak ele alınmalı, kişinin değeri veya kariyer hakkındaki nihai hüküm olarak kullanılmamalıdır. Eğitmen ya da ölçme uzmanı; olağan dışı yanıtları, erişilebilirlik ihtiyaçlarını ve dil etkilerini inceleyebilmeli, gerektiğinde sonucu düzeltebilmeli ve itirazı kayda alabilmelidir.
Yönetişim yaşayan bir süreçtir
Madde bankası, seviye eşikleri ve seçim algoritması değiştiğinde sonuçlar eski sonuçlarla doğrudan karşılaştırılamayabilir. Sürümleme, değişiklik onayı, geriye dönük raporlama, yanlılık izleme ve periyodik yeniden kalibrasyon bir defalık kontrol değil, işletim sürecidir. Yapay zekâ destekli madde üretimi kullanılıyorsa her madde yayımlanmadan önce konu uzmanı ve ölçme uzmanı tarafından incelenmelidir; otomatik üretim insan onayının yerine geçmez.
15 soruluk pilot öncesi kontrol listesi
- Ölçülecek beceri ve her seviye için gözlenebilir davranışlar tanımlandı mı?
- Madde bankasında her alt beceri için yeterli ve dengeli temsil var mı?
- Kalibrasyon örneklemi, model seçimi ve hata ölçütleri belgelendi mi?
- 15 maddelik hedefin bir tarama olduğu ve yüksek riskli karar vermediği yazılı mı?
- İçerik kısıtları, madde maruziyeti ve sınav güvenliği test edildi mi?
- Erişilebilirlik, dil, cihaz ve bağlantı koşulları pilotta gözlendi mi?
- Katılımcı hangi verinin neden işlendiğini ve ne kadar saklanacağını biliyor mu?
- İnsan incelemesi, itiraz, düzeltme ve istisna akışı mevcut mu?
- Sonuçlar öğrenme önerisiyle birlikte belirsizlik ve kapsam notunu gösteriyor mu?
- API, dışa aktarma, veri silme ve tedarikçi değişimi için çıkış planı var mı?
Adaptif tanı yaklaşımını kurumunuza göre değerlendirin
Bir CAT tasarımının doğru olup olmadığı, 15 sorudan çok beceri modeline, madde kanıtına, veri yönetişimine ve insan denetimine bağlıdır. Qulak’ı değerlendiriyorsanız kullanım amacınızı, mevcut sistemlerinizi ve doğrulama kriterlerinizi birlikte netleştirin.
Qulak ile koşulları görüşünSıkça Sorulan Sorular
IRT ile klasik puanlama arasındaki fark nedir?
15 soru herkesin seviyesini güvenilir biçimde belirler mi?
CAT kullanırken hangi veriler tutulmalı?
Qulak bu yaklaşım için ne zaman değerlendirilmelidir?
Kaynaklar
Bu makaledeki temel tanımlar ve uygulama sınırları aşağıdaki güvenilir kaynaklar üzerinden kontrol edilmiştir:
- PubMed: Item response theory, computerized adaptive testing, and PROMIS — IRT ile madde bankası ve CAT’in önceki yanıtlara göre madde seçimi ilişkisini açıklar.
- OECD PISA 2022: Adaptive testing — adaptif tasarımın okuma ve matematik değerlendirmelerinde nasıl kullanıldığını ve amacını açıklar.
- Standards for Educational and Psychological Testing — geçerlik, adillik ve sorumlu test uygulaması için temel standartlara erişim sağlar.
İlgili Qulak rehberleri
Bir sonraki adımı kanıtla birlikte planlayın
Adaptif tanı projeniz için hedef becerileri, pilot kapsamını, veri sınırlarını ve satın alma kriterlerini paylaşın. Uygunluk varsa Qulak’ı tarafsız bir değerlendirme çerçevesiyle ele alalım.
İletişime geçin