Kompetencemåling og e-learning standarder
af Michael Lund-Larsen, @ventures
Indledning
Denne rapport behandler følgende problemstilling:
”Kan det igangværende internationale standardiseringsarbejde inden for e-learning bidrage til Kompetencemålingsprojektets diskussion om, hvordan kompetencer måles?”
Udgangspunktet for rapportens behandling af problemstillingen er:
- DEL’s kompetencemålingsprojekt
- Arbejdet i den danske del i Dansk Standard af SC36 vedr. standarder for e-learning
- En studietur til Australien i forbindelse med arbejdet i SC36
Rapporten konkluderer, at det igangværende internationale standardiseringsarbejde inden for e-learning ikke kan bidrage til diskussionen om, hvordan kompetencer måles. Dette skyldes primært, at de internationale standarder generelt ikke lægger op til måling af kompetencer, men udelukkende til kreditering af kvalifikationer, der skal være til stede for at en kompetence kan identificeres.
Rapporten uddyber denne konklusion.
Rapporten består af følgende afsnit:
- Først defineres begrebet ”kompetence”, så det står klart, hvad det er for en størrelse, der ønskes målt. I denne afklaring undersøges om standardiseringsarbejdets kompetence-definition adskiller sig fra den valgte.
- I andet afsnit redegøres for standardiseringsarbejdets mål. Herunder vil SCORM-standardens forskellige elementer og deres relation til kompetence-registrering blive beskrevet.
- Tredje afsnit beskriver den konkrete metode, der i SCORM-standarden anvendes for at måle kompetence. I forlængelse heraf diskuteres, om der faktisk er tale om kompetencemåling, eller om det er helt andre ting der faktisk måles.
I slutningen af rapporten findes en række henvisninger, herunder en henvisning til en artikel, der diskuterer hvad tracking kan anvendes til, samt opstiller et forslag til hvilke overvejelser der bør gøres, inden man beslutter sig for forskellige tracking-former. Samt en artikel, der udvider SCORM-standardens definition af et læringsobjekt til også at omfatte en pædagogisk vinkel.
Standardiseringsarbejdets organisering
Standardiseringsarbejdet inden for e-learning påvirkes af en række organisationer, hvoraf især 3 dominerer det internationale arbejde:
- IEEE: Institute of Electrical and Electronics Engineers. (kaldet Eye-Tripple-E) [1]
- ADL: Advanced Distributed Learning [2]
- ISO/IEC SC36 [3]
IEEE udspringer af Rudtgers University i New Jersey og samler et meget stort antal professionelle forskere og teknikere inden for det tekniske og ingeniørmæssige område. IEEE har udviklet en lang række standarder, der har en bred anvendelse inden for de tekniske områder.
ADL udspringer af det amerikanske forsvarsministerium (DoD: Department of Defense) og er et samarbejde mellem ministerie, industri og den akademiske verden i USA. ADL har udviklet en række standarder inden for learning technology, herunder SCORM (Scharable Content Object Reference Model), der dels bygger på en lang række eksisterende standarder, herunder IEEE, AICC, IMS og ARIADNE og dels anvendes som udgangspunkt for de internationale standardiseringsdrøftelser i ISO.
ISO/IEC SC36 er en arbejdsgruppe (standard committee 36), der er nedsat i fællesskab af de 2 internationale standardiseringskommitteer ISO og IEC med henblik på at fastlægge internationale standarder inden for e-learning. ISO/IEC SC36 bygger i sagens natur deres arbejde på eksisterende anerkendte standarder, herunder fra IEEE (der er en medlemsorganisation i IEC) og ADL.
For at standardiseringsarbejdet kan få den bredest mulige opbakning og anvendelse er udgangspunktet, at arbejdet skal være neutralt i forhold til pædagogik, læringsmaterialer (indhold), kultur og teknologiske platforme.
IEEE har nedsat en række arbejdsgrupper (Workinggroups: WG), der arbejder med forskellige områder inden for satandardiseringen. De aktuelle arbejdsgrupper er følgende:
- P1484.1 Architecture and Reference Model WG
- P1484.3 Glossary WG
- P1484.11 Computer Managed Instruction WG
- P1484.12 Learning Objects Metadata WG
- P1484.14 Semantics and Exchange Bindings WG
- P1484.15 Data Interchange Protocols WG
- P1484.18 Platform and Media Profiles WG
- P1484.20 Competency Definitions WG
Da WG20: Competency Definitions har gennemført det aktuelt mest grundige arbejde vedr. competencedefinitioner, og der samtidig refereres til gruppens resultater fra andre standardiseringsgrupper, tager nærværende rapport udgangspunkt i deres arbejdspapir i forbindelse med registrering af kompetencer.
ADL er især kendetegnet ved at forsøge at samle de øvrige standardarder inden for indhold (læringsmaterialer/content) i en samlet standard kaldet SCORM (Scharable Content Object Reference Model). I den forbindelse defineres ligeledes standarder for udveksling mellem læringsressourcer (content) og den teknologi, der leverer ressourcerne (læringsteknologi/Learning Technology).
I standardiseringsarbejdet sker kompetenceregistrering på baggrund af data om læringsdeltagerens (learner) adfærd udvekslet mellem læringsressourcer og læringsteknologi. Derfor er det interessant at se på standardiseringsarbejdet vedr. SCORM i kompetencemålingsperspektiv.
Definition af begrebet ”kompetence”
For at få en forståelse af hvad det er, der skal måles, når man taler om kompetence, sammenlignes 4 definitioner fra henholdsvis Learning Lab Denmark (LLD), IEEE, EU og Kompetencemålingsprojektet fra DEL.
| Definition fra LLD: [4] |
”Den beviste/demonstrerede – og individuelle – evne til at bruge ekspertice, færdigheder, kvalifikationer eller kundskaber med henblik på at møde sædvanlige – og forandrede – erhvervsmæssige situationer og krav.” | |
| Definition fra IEEE: [5] |
”Kundskaber eller færdigheder, der sætter en person i stand til at udføre en arbejdsopgave (task) eller demonstrere en specifik evne.” [6] | |
| Definition fra EU-kommissionen: [7] | ”Evnen til effektiv brug af erfaringer, kundskaber og kvalifikationer.” | |
| Definition fra Kompetencemålings projektet: [8] |
”Et individs eller organisations ret til at varetage bestemte funktioner eller opgaver. Retten kan være erhvervet ved f.eks. at bestå bestemte eksaminer eller er blevet tillagt af en myndighed, der har denne autoritet. Et individs eller en organisations demonstrerede (i praksis) evne og vilje til at varetage bestemte og beskrevne opgaver og eller funktioner under bestemte betingelser.” |
Hvor definitionerne fra LLD og DEL eksplicit definerer kompetence som et udtryk for anvendelse af erhvervede evner i en kontekst – altså i en situation, f.eks. en erhvervsmæssig - er det ikke helt klart, om dette også er tilfældet i henholdsvis EU’s og IEEE’s definitioner.
I forhold til den konkrete opgave som er omfattet af denne rapport, har det ikke den store betydning, at EU-definitionen er uklar. I virkeligheden er denne definition primært medtaget for at vise, hvor bred diskussionen er – men også hvor uafklaret den stadig er.
I forhold til IEEE’s definition kan der hentes hjælp til forståelsen fra en uddybende definition af færdigheder, læringsmål og læringssituation samt i et arbejdspapir fra den IEEE-arbejdsgruppe, der arbejder med kompetencedefinitionen. [9]
| Færdigheder: | ”En tilegnet evne (learned power) til at gøre noget kompetent: Et udviklet anlæg eller en evne. Evnen til at udføre en job-relateret aktivitet, der bidrager til effektiv udførelse af et trin i en opgave.” | |
| Læringsmål: | ”Et præcist 3-delt udtryk, der beskriver hvad deltageren skal være i stand til at udføre udtrykt som den forventede deltager-præstation under specifikke betingelser i forhold til specifikke anerkendte kriterier. Læringsmål skal klart og eentydigt beskrive hvilke deltager-præstationer, der skal være demonstreret for at kunne vise kompetence i det lærte stof.” | |
| Læringsmålets betingelser: | ”En beskrivelse af den uddannelsessituation eller –miljø i hvilket deltageren skal udføre opgaven eller handlingen, der fremgår af læringsmålet. Det omfatter alt relevant, der har indflydelse på opnåelsen af læringsmålet, herunder beskrivelse af materialer, faciliteter og udstyr, der skal bruges for at nå læringsmålet.” | |
| I arbejdspapiret er der et eksempel på en kompetencebeskrivelse ud fra ovenstående definitioner: | ”Kan bruge Microsoft Excel på begynder-niveau under Mac OS 8 eller højere: Kan åbne, lukke og opdatere Excel regneark. Kan skrive og anvende simple formler. Kan navigere med cursor og mus.” |
Selvom IEEE-definitionen egentlig indeholder de samme aspekter som DEL-definitionen, er eksemplet i højere grad udtryk for det, vi vil kalde en kvalifikation – eller et læringsmål.
Eksemplets mangler behøver dog ikke at betyde, at definitionen og dermed den foreslåede standard (se bilag 1) for registrering af kompetencer ikke kan anvendes. Faktisk angives i et bilag til IEEE-definitionen (se bilag 2), at der kan være tale om forskellige kompetence-typer, f.eks. analytisk, adfærds eller generel kompetence, mål defineret af et eksternt rådgivende organ, læringsmål, færdighed m.v. Målsætningen i eksemplet kunne altså være beskrevet anderledes og dermed have være omfattet af en anden kompetence-type.
At det kan være svært at måle egentlige kompetencer antydes i øvrigt i kommentarerne til kompetence-typen: Kompetence, hvor det eksplicit konstateres, at ”det kan blive svært at måle i en simpel gennemførelsesform.”
Man kan således konkludere, at definition og forslag til standard for registrering af kompetencer fra IEEE giver mulighed for registrering af en konstateret/målt kompetence hos en deltager – også efter den definition, der gælder i kompetencemålingsprojektet.
Standarder i e-læringsmiljøet
Standardiseringsarbejdet tager udgangspunkt i, at kompetencemåling og –registrering kan ske på baggrund af den lærendes adfærd i et elektronisk læringsmiljø. Altså deltagerens anvendelse og udbytte af læringsmaterialet.
Det er derfor nødvendigt at få en forståelse for standardiseringsarbejdets opfattelse af det elektroniske læringsmiljø. Og her vælges at tage udgangspunkt i SCORM (Sharable Content Object Reference Model), idet det er den pt. dominerende model.
SCORM bygger på en idé om, at læringsmateriale, der er sammensat af relativt små genbrugelige læringsressourcer, kan bruges til at opbygge undervisningsenheder (instruction units) i form af kurser, moduler, kapitler, etc.
I sig selv har læringsressourcerne altså ingen specifik sammenhæng. Men ved at kombinere dem med andre læringsressourcer, vil sammensætningen skabe sammenhængen (konteksten) – derved etableres undervisningsenheden, og der opnås mulighed for at organisere deltagernes læring. Samtidig kan læringsressourcerne blive genbrugt i mange forskellige sammenhænge (kontekster).
Læringsressourcerne afgør ikke selv, hvordan der skal navigeres mellem dem i den sammenhæng, hvori de indgår. Dette fastlægges i navigationsregler, der knytter sig til selve undervisningsenheden.
Læringsressourcerne (content) organiseres i såkaldte læringsobjekter (content object/learning object).
ADL har opstillet følgende krav i forbindelse med standardisering af læringsressourcer (content) [10]:
- Tilgængeligt – uanset geografisk placering
- Flytbart – mellem forskellige værktøjer/platforme
- Holdbart – uanset teknologisk udvikling
- Genbrugeligt – i forskellige sammenhænge.
SCORM definerer i forlængelse af disse krav et læringsobjekt (Sharable Content Object) således [11]:
Et fuldt funktionsdygtigt, holdbart, computerbaseret forløb (course) eller del af et kursusforløb emballeret i fyldestgørende information, der gør objektet genbrugeligt og tilgængeligt. (”Forløb” er egentlig ikke dækkende som aktuel oversættelse, idet der i de senere versioner tales om læringsressourcer, der ikke nødvendigvis skal følges i et bestemt forløb. Der findes imidlertid ikke en senere definition, der præciserer dette.)
Et læringsobjekt består således af både et egentligt indhold (content) og en beskrivelse (metadata). Desuden producerer læringsobjekter data om den lærendes adfærd ved anvendelse (tracking).
SCORM opererer derfor med standarder for følgende områder:
- Indhold: Der opereres ikke med krav til indhold, kun til beskrivelse af indhold. SCORM ”blander” sig således ikke i den pædagogiske side. Indholdet beskrives efter nogle specifikationer (meta-data-records) for henholdsvis medieelementer (billeder, tekst, lyd m.v.) og hensigt (læringsbeskrivelse, herunder hvilken sammenhæng læringsobjektet tænkes ind i)
- Struktur: Der opereres med en informativ og en teknisk beskrivelse af undervisningsenheden. Den informative omfatter specifikationer (meta-data-records) for beskrivelse af undervisningsenhedens formål, mål, struktur (temaer, emner, læringsobjekter m.v.), ophavsinformationer og lign. Den tekniske omfatter en XML-baseret standard for beskrivelse af undervisningsenhedens elementer, struktur, eksterne referencer m.v. med henblik på, at undervisningsenheden kan afvikles under forskellige tekniske platforme.
- Afviklingsmiljø: Der opereres med 3 tekniske spcifikationer vedr. afvikling af læringsobjekter: protokol til igangsætning af læringsobjekt, grænseflade specifikationer (API) mellem læringsobjekt og læringsteknologi (Learning Management System) og en datamodel, der bruges til udveksling af data om den lærende og den lærendes adfærd i forbindelse med afvikling af læringsobjektet.
SCORM-standarden tager udgangspunkt i følgende eksisterende andre anerkendte standarder vedr. beskrivelse af indhold og indholdets sammenhænge:
- Kursusstruktur format (CSF) udledt af AICC
- Metadata leksikon (LOM) fra IEEE
- Metadata XML-indbinding i Best Practice beskrevet i IMS
SCORM-standarden tager desuden udgangspunkt i AICC-standarderne vedr. datamodel og udveksling af data til og fra indhold (API).
Ovenstående sammenhænge kan visualiseres således [12]:
Læringsobjekter skal dermed kunne anvendes i forskellige Learning Management Systems (LMS).
Et LMS er af ADL defineret således [13]:
”En passende samling af funktionaliteter designet til at levere, registrere, rapportere og styre læringsressourcer (indhold), deltager progression og deltagerinteraktion.”
LMS kan altså afgøre hvad og hvornår der skal leveres og kan registrere deltagerens progression i læringsressourcerne.
Ovenstående model [14] viser de forskellige generelle elementer i et LMS, sådan som SCORM definerer det.
Registreringer i standardiseringsarbejdet
Kursusstruktur formatet (CSF - Course Structure Format) beskriver strukturen i selve undervisningsenheden, herunder hvilke mål der nås undervejs.
Desuden beskriver CSF navigationsreglerne mellem ressourcerne i undervisningsenheden, herunder hvilke forudsætninger, der skal være opfyldt for at få adgang til de enkelteressourcer, samt hvilke krav der skal opfyldes for at den pågældende del af undervisningsenheden er gennemført.
I målbeskrivelserne i CSF anvendes kompetencedefinitionen fra IEEE jf. bilag 1. Det betyder, at det der faktisk kan ske en registrering af, om en læringsdeltager har opnået bestemte kompetencer. Forudsætningen for at denne registrering også reelt udtrykker en kompetence er naturligvis, at der foretages en egentlig kompetencemåling og ikke en måling af f.eks. kvalifikationer.
Der opereres med forskellige taxonomier for strukturen. I nedenstående tabel [15] vises forskellige taxonomier. Det bemærkes, at det nederste niveau er det såkaldte SCO (Sharable Content Object) eller læringsobjekt.
| Model: Army |
Model: Air Force |
Model: Marine Corps |
Model: Canadian SCO |
| Course (content) |
Course (content) |
Course (content) |
Course (content) |
| Module (block) |
Block (block) |
Phase (block) |
Performance Objective (block) |
|
Lesson (block) |
Module (block) |
SubCourse (Annex) (block) |
Enabling Objective (block) |
| Learning Objective (block) |
Lesson (block) |
Lesson (block) |
Teaching Point (sco) |
| Learning Steps (sco) |
Learning Objective (sco) |
Task (block) |
|
| Learning Objective (block) |
|||
| Learning Step (sco) |
I Danmark opereres ofte med følgende taxonomi: Uddannelse, Fag, Tema, Emne, Læringsobjekt, hvor læringsobjektet er sammensat af fag-elementer (fagpinde) fra emnet.
CSF i SCORM omfatter bl.a. specifikationer for følgende informationer:
- Formålet med den enkelte del af undervisningsenheden og dennes placering i strukturen
- Forudsætninger, der skal være opfyldt inden deltagelse i den enkelte del af undervisningsenheden – f.eks. hvilke andre dele af undervisningsenheden der skal være gennemført
- Hvilken andel af den enkelte del af undervisningsenheden, der skal være fuldført for at den betragtes som gennemført
- Hvilket resultat deltageren mindst skal have opnået i den enkelte del af undervisningsenheden, for at den betragtes som gennemført
- Hvilket tidsforbrug deltageren maksimalt må bruge på den enkelte del af undervisningsenheden, for at den betragtes som gennemført
- Hvilke kompetencer deltageren opnår ved at gennemføre den enkelte del af undervisningsenheden.
SCORM modellen er tilsyneladende tilrettelagt, så den i princippet kan registrere deltagerens opnåelse af kompetence gennem undervisningsenheden. Det er derfor afgørende, hvilke informationer, der danner grundlag for denne registrering.
Som det ses af ovenstående – og som det i øvrigt fremgår af SCORM’s datamodel [16] – foretages målingen af deltagerens kompetence på følgende 3 områder i den enkelte del af undervisningsenheden:
- hvor stor en del af materialet er gennemført
- hvilket resultat er der opnået ved gennemførelsen
- hvor meget tid er der brugt.
Nedenfor vises en tabel, [17] der angiver mulige tilbagemeldinger vedr. læringsdeltagerens adfærd ved anvendelse af en specifik del af undervisningsenheden.
| Vocabulary Type | Members of Vocabulary | |
|
Mode cmi.core.lesson_mode |
“normal” “review” “browse” |
|
|
Status cmi.core.lesson_status cmi.objectives.n.status |
“passed” “completed” “failed” “incomplete” “browsed” “not attempted” |
|
|
Exit cmi.core.exit |
“time-out” “suspend” “logout” "" - (empty string) |
|
|
Credit cmi.core.credit |
“credit” “no-credit” |
|
|
Entry cmi.core.entry |
“ab-initio” “resume” "" - (empty string) |
|
|
Interaction cmi.interactions.n.type |
“true-false” “choice” “fill-in” “matching” "performance" "likert" "sequencing" "unique" "numeric" |
|
|
Result cmi.interactions.n.result |
“correct” “wrong” “unanticipated” “neutral” X.X (CMIDecimal) |
|
|
Time Limit Action cmi.student_data.time_limit_action |
“exit,message” “exit,no message” “continue,message” “continue,no message” |
Dokumentationen af opnåelse af en kompetence i SCORM sker altså i princippet i 2 former:
- en kvantitativ, hvor læringsdeltagerens omfangs- eller tidsmæssige anvendelse af læringsressourcen danner grundlag for kreditering for den angivne kompetence
- en kvalitativ, hvor læringsdeltagerens resultater i forskellige tests danner grundlag for kreditering for den angivne kompetence.
Denne dokumentationsform harmonerer ikke med kravet om, at en kompetence skal dokumenteres i en kontekst. Reelt er der alene tale om, at læringsdeltageren dokumenterer et foruddefineret forbrugsminimum i læringsressourcen eller at læringsdeltageren gennem tests dokumenterer at besidde visse kvalifikationer, der skal være tilstede for at læringsdeltageren har den pågældende kompetence.
Derfor er konklusionen, at SCORM ikke lægger op til måling af kompetencer, som de er defineret i kompetencemålingsprojektet.
Bilag 1: Kompetence specifikation fra IEEE [18]
Proposed Reference Model Elements
| No | Name | Explanation | Reqd | Mult | Type | Note |
| 1 | Identifier | Unique Identifier | M | Single | String | Corresponds to LOM Identifier |
| 2 | Name | Name of Competency | M | Multiple | LangString | Corresponds to LOM Title |
| 3 | CatalogEntry | See Meta-data. Also known as SouredID | O | As in IMS Meta-data | Corresponds to LOM CatalogEntry | |
| 3.1 | Catalog | O | ||||
| 3.2 | Entry | O | ||||
| 4 | Version | O | Single | String | Corresponds to LOM LifeCycle.Version | |
| 5 | Comment | Permit the inclusion of comments | O | Multiple | LangString | Corresponds to LOM Annotation |
| 6 | Type | Type(s) of the Competency | O | Single | List of Strings | Best Practices List |
| 7 | Definition | Definition of the Competency in three parts | M | Single for each Language | ||
| 7.1 | Statement | Statement of the Competency | M | Single | LangString | |
| 7.2 | Performance | Single for Each Level | ||||
| 7.2.1 | Level | Level of competency or performance | O | Single | Unordered list of LangStrings | List of equivalent designations for a level |
| 7.2.2 | Conditions | Conditions or context under which the Competency is to be achieved or measured | O | Single | Unordered list of LangStrings | |
| 7.2.3 | Criteria | Criteria for demonstrating competency at the given level under the given conditions | O | Single | Unordered list of LangStrings | |
| 8 | Meta-data | Additional IMS Meta-data may be incorporated | O | Multiple | Best Practice List of Meta-data Elements: General.Coverage Contribute Relation Classification |
Table 2: Defined values for the ObjectiveType data element
| Terse value | Verbose value | Description |
| <none> or NULL | <none> or NULL | This is a general purpose Competency Definition, and may be interpreted as a learning objective, skill or competency |
| A | Analytical | This data object defines a complex analytical competency |
| B | Behavioral | This data object defines a “classic” behavioral objective |
| C | Competency | This data object defines a general purpose competency, which is typically a combination of skills and or knowledge and can be difficult to measure in a simple performance |
| G | Goal | A goal, or general objective, as usually defined outside of the instructional design community. This type of objective does not have the precision of a learning objective and usually does not specify Conditions or Criteria |
| I | Instructional | This data object defines a traditional performance-based Instructional objective. K Knowledge This data object defines a knowledge objective, which is typically difficult to measure in a simple performance |
| K | Knowledge | This data object defines a knowledge objective, which is typically difficult to measure in a simple performance |
| L | Learning | This data object defines a "classic" 3-part performance-based Learning Objective |
| P | Proficiency | This data object defines proficiency |
| S | Skill | This data object defines a skill |
|
Note: A compliant implementation may support additional values for ObjectType, but for maximum compatibility implementations should use only the values specified in this standard. A compliant implementation shall not be required to support those values. Unrecognized values shall be treated as <none> or NULL. |
||
Bilag 2: Agronymer
| ADL: | Advanced Distributed Learning http://www.adlnet.org | |
| AICC: | Aviation Industry CBT Committee http://www.aicc.org/ | |
| API: | Application Programming Interface | |
| ARIADNE: | Alliance of Remote Instructional Authoring and Distribution Network for Europe http://ariadne.unil.ch/ | |
| CSF: | Course Structure Format | |
| DEL: | Danmarks Erhvervspædagogiske Læreruddannelse http://www.delud.dk/ | |
| IEC: | International Electrotechnical Comission http://www.iec.ch/ | |
| IEEE: | Electrical and Electronics Engineers | |
| IMS: | Global Learning Consortium, Inc. (IMS) http://www.imsproject.org | |
| ISO: | International Organization for Standardization http://www.iso.ch/iso/en/ISOOnline.openerpage | |
| LLD: | Learning Lab Denmark http://www.lld.dk | |
| LMS: | Learning Management System | |
| LOM: | Learning Object Metadata |
Bilag 3: Henvisninger
- Claude Ostyn: Proposed base document for a Draft Standard for Competency Definition Data Objects, 1999, IEEE
- Hans Jørgen Knudsen: Kompetenceudvikling – begreber, 2001, Projekt Kompetencemåling, DPU/DEL
- IEEE/WG3: IEEE P1484.3/D3 Draft Standard for Information Technology – Learning Technology – Glossary, 2001, IEEE
- IEEE/WG: IEEE P1484.12.1/D6.4 Draft Standard for Learning Object Metadata, 2002, IEEE
- Knud Illeris (red.): Udspil om læring i arbejdslivet, 2002, Learning Lab Denmark
- Knud Illeris: Læring, udvikling og kvalificering, 1995, EVU-gruppen RUC
- Lise Steinmüller: Hvordan laves gode tests, 2002, @ventures
- Lise Steinmüller: Læringsobjekter – sådan laves de, 2002, @ventures
- Lise Steinmüller m.fl.: Anvendelse af tracking i undervisningssammenhæng, 2002, @ventures
- Philip Dodds (red.): The SCORM Overview, 2001, ADL
- Philip Dodds (red): Sharable Content Object Reference Model, SCORM, Version 1.1, 2001, ADL
- http://ltsc.ieee.org/ - tilbage
- http://www.adlnet.org - tilbage
- http://www.jtc1sc36.org/ - tilbage
- Steen Høyrup & Kim Pedersen, Konsortiet for Forskning i læring i arbejdslivet, ”Udspil om læring i arbejdslivet”, Learning Lab Denmark, 2002 s. 95. Fra ”Making learning visible. Identification, assessment and recognition of non-formal learning in Europe.” Thessaloniki: CEDEFOP. Jens Bjørnåvold, 2000. Her i oversat udgave. - tilbage
- “Proposed base document for a draft standard for Competency definition data objects.” Claude Ostyn, Vers. 0.2, 12. may 1999. Se http://ltsc.ieee.org/ - tilbage
- For at forstå denne definition fuldt ud, vil denne definition senere blive suppleret med hvad der menes med Færdighed, Læringsmål og Læringssituation. - tilbage
- Her citeret fra ”Kompetenceudvikling – Begreber” Hans Jørgen Knudsen, DEL-Syd, Kompetencemålingsprojektet 2001-2002. Side 7. - tilbage
- ”Kompetenceudvikling – Begreber” Hans Jørgen Knudsen, DEL-Syd, Kompetencemålingsprojektet 2001-2002. Side 7. - tilbage
- IMS competency definition work group starting draft - 12 September 2000: “Reusable Competency Definitions Version 0.4”. Se http://ltsc.ieee.org/ - tilbage
- ”The SCORM overview”, Vers. 1.2, Oct. 1. 2001. Advanced Distributed Learning Initiative. S. 1-29. - tilbage
- “Sharable Content Object Reference Model”, Vers. 1.0, Jan. 31. 2000 Advanced Distributed Learning Initiative. S. 22. - tilbage
- “Sharable Content Object Reference Model”, Vers. 1.1, Jan. 16. 2001 Advanced Distributed Learning Initiative. S. 1.5 - tilbage
- ”The SCORM overview”, Vers. 1.2, Oct. 1. 2001. Advanced Distributed Learning Initiative. S. 1-30 – 1-31. - tilbage
- Sharable Content Object Reference Model”, Vers. 1.1, Jan. 16. 2001 Advanced Distributed Learning Initiative. S. 1.29 - tilbage
- Sharable Content Object Reference Model”, Vers. 1.1, Jan. 16. 2001 Advanced Distributed Learning Initiative. S. 2.53 - tilbage
- Sharable Content Object Reference Model”, Vers. 1.1, Jan. 16. 2001 Advanced Distributed Learning Initiative. S. 3.19 ff. - tilbage
- Sharable Content Object Reference Model”, Vers. 1.1, Jan. 16. 2001 Advanced Distributed Learning Initiative. S. 3.58 - tilbage
- “Proposed base document for a draft standard for Competency definition data objects.” Claude Ostyn, Vers. 0.2, 12. may 1999 - tilbage
