Slike studier forevige en wrongheaded debatt om den pedagogiske effekten av media (Clark, 1994; Kozma, 1994). Hva bør studeres er virkningen på læring i form av forbedringer i student forespørsel prosesser og andre høyere orden aspekter ved læring, direkte relevant for å forstå utfordrende og komplekse saksforhold (Lowyck et al 2003;. Spector & Anderson, 2000).
For å demonstrere at spesifikke instruksjons tilnærminger og pedagogiske teknologier er effektive i å forbedre komplekse problemløsning ferdigheter, til en metodikk bestemme høyere orden læringsutbytte aktuelle for slike problemer er nødvendig. En pilottest av en slik metodikk ble demonstrert og diskutert på 2000 International System Dynamics konferansen i Bergen, Norge (Christensen, Spector, Sioutine, og McCormack, 2000). En tilsvarende metodikk utviklet i Tyskland har vist lovende (Seel, Al-Diban, og Blumschein, 2000).
Generelle funn av en 1-års National Science Foundation (NSF) studie som involverer denne modellering diagnostiseringsmetodologi er diskutert neste. NSF prosjekt kalt '' The DEEP Methodology for Assessing læring i komplekse domener '' (se Spector & Koszalka 2004 for detaljerte funn, bare høyt nivå oppsummeringer er rapportert her) undersøkt bruken av kommenterte problem representasjoner å bestemme relative nivåer av kompetanse i biologi, ingeniørfag og medisin. Komplementære studier med lignende resultater er rapportert i litteraturen (Seel et al, 2000;.
Stoyanova & Kommers, 2002; Taricani & Clariana, 2006). Den DEEP Studien involverte valg av to representative problem scenarier for hver av de tre komplekse problemløsning domener (biologi, ingeniørfag og medisin). Fag inkludert både ekspert og ikke-ekspert respondentene; De var utstyrt med et problem scenario og bedt om å angi hva de trodde ville være relevant for en løsning. Forsøkspersonene ble bedt om å dokumentere disse elementene, og gir en kort beskrivelse av hvert