Vad ska studeras är effekten på att lära när det gäller förbättringar i elev förfrågan processer och andra högre ordning aspekter av lärande, direkt betydelse för att förstå utmanande och komplext ämne (Lowyck et al, 2003;. Spector & Anderson, 2000). För att visa att särskilda instruktions strategier och pedagogiska tekniker är effektiva när det gäller att förbättra komplexa problemlösningsförmåga, en metod bestämma högre ordning studieresultat som är lämpliga för sådana problem krävs.
Ett pilottest av en sådan metod demonstrerades och diskuterades vid 2000 International System Dynamics konferensen i Bergen, Norge (Christensen, Spector, Sioutine & McCormack, 2000). En liknande metod som utvecklats i Tyskland har visat lovande (Seel, Al-Diban & Blumschein, 2000). Allmänna slutsatser av en 1-års National Science Foundation (NSF) studie med denna modellering bedömningsmetod diskuteras nästa.
NSF projekt med titeln '' DEEP metod för att bedöma lärande i komplexa domäner "(se Spector & Koszalka 2004 för detaljerade resultat, hög nivå sammanfattningar redovisas här) undersökt användningen av kommenterade problemrepresentationer för att bestämma relativa nivåer av expertis inom biologi, teknik och medicin. Kompletterande studier med liknande resultat har rapporterats i litteraturen (Seel et al, 2000;. Stoyanova & Kommers, 2002; Taricani & Clariana, 2006).
DEEP studien omfattade valet av två representativa problemscenarier för vart och ett av tre komplexa problemlösnings domäner (biologi, teknik och medicin). Ämnen som ingår både expert och icke-experter respondenter; De försågs med ett problem scenario och bad att ange vad de trodde skulle vara relevant för en lösning. Försökspersonerna ombads att dokumentera dessa poster, vilket ger en kort beskrivning av varje objekt tillsammans med en kort förklaring av hur och varför det var relevant.
Försökspersonerna ombads att ange och dokumentera antagande