A teszt érvényessége arra vonatkozik, hogy a mérőlap azt méri, amit mérni szeretnénk. A dolgot bonyolítja, hogy a validitás mértékének a meghatározása nem könnyű feladat, hiszen a mérendő területről, tulajdonságról nincsenek adataink, csak teszteredmények állnak rendelkezésünkre. Mivel a pedagógiai vizsgálatokban a mérni kívánt dolgok nagyon összetettek és bonyolultak, a mérés érvényességének biztosításához célszerű az összetett megközelítést egyszerűbb szempontokra bontani, majd azok validitását vizsgálni. A validitásnak tehát többféle formája lehet.

Elsőként a tartalmi validitást említhetjük, amely ugyanúgy összetett fogalom, következőleg ez is tovább tagolható. Ennek egyik megnyilvánulása a tudomány eredményeivel való összhangot mutató szakmai validitás. Azt, hogy az összes lehetséges feladat halmazából a tesztbe kerülők kiválasztását milyen jól végeztük, a mintavételi validitás fejezi ki. A funkcionális validitás a mérendő pszichikus struktúra és a feladatmegoldó tevékenység megfelelésére, viszonyára vonatkozik. A skálázási validitás arra fokuszál, hogy a pontozás hogyan súlyoz, azaz miként tükrözi a nehézséget és a fontosságot.

A pedagógiai gyakorlatban, válogató felmérésekben a felvételi teszteknek nélkülözhetetlen tulajdonsága az előrejelző (prediktív) validitás. Azt minősíti, vajon a teszteredmény milyen mértékben vetíti előre a kitöltő jövőbeni teljesítményeit.

Mindent egybevetve röviden az mondható, hogy a tudásszintmérő tesztek jósága, érvényessége akkor biztosítható maximálisan, ha a teszt a lehető legjobban képezi le (a) a célok, (b) a követelmények és (c) a tananyag formájában rögzített tudásrendszert. Ehhez pedig nélkülözhetetlen a mérendő terület sokoldalú elemzése, pontos ismerete. Lényegében a tesztkészítés analóg a tanítás-tanulás folyamataival, csak ott a leképezés eredményeként a tanuló belső tudása jön létre, miközben itt egy külső, objektivált produktum: a teszt.

A mérendő tananyag-számbavétel első lépése a terület listázása: (1) a tananyag tagolása, (2) ismeret-fajtánkénti áttekintése, majd (3) fogalmi struktúrák alkotása. Ezt követően a tudáselemek funkcionális elemzése során a tananyag szerkezetében elfoglalt helyüket, szerepüket és fontosságukat értékeljük. A mérésre kiválasztott elemek súlyát az is kifejezi a tesztben, hogy milyen szintű feladatokkal mérjük a tudásukat. E tekintetben praktikusan a következő szinteket érdemes alkalmazni: (1) a ráismerés (ismeret-szint), (2) a reprodukálás és (3) az alkalmazás szintje. Következőleg beszélhetünk a cselekvésekkel kapcsolatos – operatív, praktikus, procedurális – tudásról és a cselekvések tervezésével és kontroljával kapcsolatos tudásról, a metakognícióról. Hagyományosan az ismeretek („Tudni, hogy mit”) és a képességek („Tudni, hogy hogyan”) megkülönböztetése jellemző.

A tudásmérő tesztek érvényességéhez további nagyon fontos követelmény a feladatok megfogalmazása, az adekvát válaszkényszer követelménye: kizárólag arra válaszoljon a tanuló, ami a kérdés, azaz a feladat szövegezése legyen adekvát a várt válasszal. Általános szabályként az mondható, hogy a feladat tartalmazzon (1) elegendő tájékoztató információt és (2) a feladatvégzésre felhívó megfelelő utasítás, kérdést. Ezt a követelményt a feleletválasztó feladatok (lásd a "Kérdéstípusok" alfejezetet) könnyen teljesíthetik.

A feleletválasztó feladatok esetében az előre megadott válaszok közül kell a megoldónak kiválasztania a megfelelőt. Mindamellett még ennél a feladattípusnál is történhet félreértés, elnézés, amennyiben nem elég egyértelműen, áttekinthetően szerkesztjük és adjuk meg a válaszadás (a válasz jelölésének) módját. Ebben az esetben hibás megjelölésnél nem tudhatjuk, vajon a hibás válaszadás oka tudatlanság vagy a válaszadás módját illető bizonytalanság.

A feleletválasztó tesztfeladatok néhány – a pedagógiai mérésekben gyakori – típusa:

A feleletválasztó feladatok szerkesztése, kidolgozása (főleg többszörös választásnál) eléggé nehéz. Ráadásul az ilyen felépítésű tesztfeladatok leginkább az ismeret-jellegű tudás mérésére alkalmasak. E vonatkozásban tanulságos kiemelni, hogy az előre megadott válaszok emlékezeti támpontot is nyújthatnak, irányíthatják a tanuló gondolkodását. Ugyanakkor előny, hogy ezzel a feladattípussal a számítógépes tesztelés egyszerűen végrehajtható, egyszersmind a tesztek javítása nagyon könnyű.

A feleletalkotó feladatok az ismeret-jellegű tudáselemek mellett már a bonyolultabb képesség-jellegű tudás mérésére is kényelmesen alkalmazhatók, hiszen félig-meddig egy felszólító vagy kérdő mondat megfogalmazása elég. Mivel azonban a választ a tanuló maga alkotja meg (nem felkínált lehetőségből választ), a feladatok értékelő rendszerének a kidolgozása – a kellő objektivitás érdekében – annál inkább munkaigényes feladat.

Itt érdemes megjegyezni, hogy a feleletválasztó feladatok is sokféle gondolkodási műveletet követelhetnek meg. Egyszersmind a feleletalkotó feladatok is megoldhatók nagyon egyszerű emlékezeti és gondolkodási műveletekkel. (Például a megoldandó feladat, probléma már korábban bemagolt megoldásának a puszta reprodukálásával.)

A feleletalkotó feladatok főbb típusai:

Mivel a feleletalkotó feladatok nem a tananyag szöveghű felidézését igénylik, az értékelési útmutató kidolgozása, valamint a tesztek javítása igen munkaigényes, és nagyfokú odafigyelést igényel.

Lényegében mindegyik megfelelően szerkesztett feladattípus praktikusan használható nemcsak ismeret-jellegű, hanem képesség jellegű tudás mérésére is. A mérésre szánt tananyag szelektálása vezethet eltéréshez, hiszen az alkalmazni tudás kétségtelenül minőségi ugrást jelent a reprodukált ismeretekhez képest. Adott tantárgy esetében ezt az elemzést a pedagógus is elvégezheti, egyébként a vizsgálandó képesség struktúrájának a feltárása szükséges, amely összetettebb és nehezebb feladat.

Hazánkban Nagy József és Csapó Benő által végzett és irányított kutatások nyújtanak mindehhez erős alapot. Nagy József kidolgozta a tudástechnológia elméleti alapjait, s majd a későbbi kutatások során megadták a legfontosabbnak tartott kognitív képességek rendszerét, egyben azok mérési módszereit és eszközeit.

Pedagógiai szempontból a tanuláshoz, a tudás megszerzéséhez köthető képességek tűnnek a legfontosabbaknak. A tanulás képességeinek, a tudásszerzés képességeinek fejlesztése önálló kutatási területté vált. A problémamegoldás és a problémaalapú tanulás pedig már átvezet az alkalmazás-központú tanulás területére. Vizsgálatok eredményei szerint, az alkalmazható tudás inkább a gondolkodás fejlettségével áll szorosabb kapcsolatban, mint a tesztekkel mérhető tantárgyi tudással. Újabban a sok tudást alkalmazó, komplex, rosszul definiált, életszerű problémák megoldási folyamatai kerültek a középpontba, értékelődtek fel pedagógiailag.

A kifejezetten képesség-jellegű tudást mérő tesztfeladatok az egészen egyszerűtől a nagyon bonyolultakig számos formát ölthetnek. A legegyszerűbbek talán az alapműveleti számolási készségeket mérő feladatok, amelyek az iskolai gyakorlatban is jellemzően előfordulnak. A szöveges feladatok is könnyen a problémamegoldó képesség mérésére alkalmas tesztfeladatokká alakíthatók. Hasonlóképpen objektíven megoldható a magyar nyelvi kommunikáció készségeinek, képességeinek a mérése (íráskészség, helyesírás, szövegalkotás, olvasás-szövegértés stb.). De itt a példák között megemlíthetjük még a rajzkészség speciális megoldásokat igénylő tesztelését is. Minderre ma már sokféle tesztelési technika létezik.

A tesztfeladatok megszerkesztéséhez kiemelhetjük a képesség-jellegű tudáselemek működésének a sebességét és a hibátlanságát:

Természetesen adott képességekhez további speciális mutatók is bevezethetők. Például a következő mennyiségi mutatók említhetők egy másik műveleti képesség, a kombinatív képesség értékelésére (lásd. Csapó Benő vizsgálatait): a megalkotott konstrukciók száma, ezek közül a jók száma, valamint a feleslegesen ismétlődők száma. De a gondolkodás minősége annak leírásával is jellemezhető, hogy a tanuló milyen gondolkodási stratégiát használt a felsorolás folyamán.

Az értékelő rendszer formai-technikai követelményei képezik az objektivitás alapját. A teszt készítőinek egyértelműen elő kell írnia, hogy mit kell a teszt megoldójának tennie, és a tesztet javítónak pedig pontosan kell tudnia, mi az elvárt megoldás az egyes feladatokra: az érthető, világos útmutató, javítókulcs elkészítése éppoly fontos feladat, mint a teszt megszerkesztése.

Valójában már a kérdések, feladatok megfogalmazásával előkészítjük az értékelést. Például ha a kérdéseket kérdő mondat formájában jelenítjük meg, ahol azt is nyilvánvalóvá tesszük, hogy eldöntendők vagy kiegészítendők. Ha válaszalternatívákat adunk meg, pontosan közöljük, hogy mi az elvárt teendő, egy vagy több jó válasz van, a jót kell bekarikázni, vagy a rosszat áthúzni. Ha megköveteljük a jók megjelölése mellett a rosszak áthúzását is, akkor láthatjuk majd, hogy a választ tanuló nem tudta, vagy neki sem kezdett. Ugyanakkor amennyiben valamilyen feladattal kapcsolatban túl sok magyarázatra van szükség, felmerülhet a kérdés, hogy egyáltalán jó-e, átfogalmazással javítható-e, esetleg nem volna-e jobb elhagyni.

Célszerű a tesztlapon az egyes feladatok mellett is feltüntetni az elérhető pontokat. Például megtehetjük ezt a lap szélén feladatelemenként külön kis kódkockákban. A szerezhető pontszámok ismerete nemcsak a teszt kitöltésekor orientálhatja a tanulókat, hanem a javító munkáját is egyszerűsíti, hiszen a pontozáshoz – a részpontszámok írogatása helyett – elég csak a megfelelő kis négyzeteket pipálgatni, s természetesen az összegzés is könnyen elvégezhető. Mindamellett ennek a megoldásnak fontos visszacsatoló funkciója is van, hiszen a kijavított tesztből a tanuló részletezve megismerheti, melyek azok feladatelemek, amelyeket nem oldott meg helyesen. A legkisebb önállóan értékelhető feladatelem (alternatív egység) az item, amely nyilván már csak jó vagy rossz lehet.

Egyébként az értékelési útmutatóban adhatunk a javításhoz javaslatokat, és megvilágíthatjuk a félreérthető megoldásokat. A javítókulcsban pedig közöljük mindenegyes feladat – itemekre bontott – helyes megoldását az adható pontszámokkal együtt. Ne feledjük, hogy a feleletalkotó feladatok esetében a válaszokban elvárt összes gondolatot fel kell sorolni. Ha jó a javítókulcs, akkor a javításkor nem fordulhat elő olyan helyes válasz, ami ne lenne a pontozási lapon feltüntetve.

További kérdés mennyi legyen az egyes feladatelemekhez, itemekhez rendelt, tervezett pontszám. Ez az eljárás a súlyozás s a kijelölt pontszám a feladatelem súlya. A hozzárendelések szubjektív ötleteket is tartalmazhatnak, önkényes megoldásokat jelenthetnek, ám ez gyakorlati szempontból általában nem vezet problémákhoz. A tudáselemek relatív fontosságát, a pontszámát például szakértők (tesztkészítők, pedagógusok) is megítélhetik közmegegyezéssel, szavazással. De empirikusan is becsülhető (ha a feladatok jóságában már biztosak vagyunk) amennyiben a tesztet megfelelő mintán kipróbáljuk, s arányosan azokat a feladatelemeket tekintjük nehezebbnek, amelyeket rendre kevesebben oldottak meg. Ami a terjedelmet illeti, praktikusan javasolható szabály: ha az itemek legkisebb pontértéke az 1 pont, akkor a legnagyobb súly legfeljebb 5 pont legyen.

Ha az egész tesztre összesen 100 pontot tervezünk, akkor az eredeti (nyers-) pontokat át számíthatjuk százalékpontra: az egyes nyerspontokat elosztjuk a teszt összpontszámával, majd megszorozzuk százzal. Mivel ekkor az itemek százalékpontja tizedes tört is lehet, a nem egész pontszámokat úgy kerekítjük, hogy a teljes összege 100 maradjon. A százalékpontra való áttérés tehát a feladatok egymáshoz viszonyított súlyát – még ha nem is nagymértékben – befolyásolja.

Elméleti és gyakorlati szempontok alapján egyaránt felmerül, hogy egy tudásterület felmérésére azonos módon használható, egymással egyenértékű tesztjeink legyenek. Például helyénvaló, ha teszteléskor az egymás mellett ülők nem azonos feladatok kapnak, de az is lehet, hogy egy kiválasztott témakörben ismételten meg szeretnénk mérni egy csoport felkészültségét. Ezekben az esetekben az úgynevezett ekvivalens tesztváltozatok segíthetnek. Elkészítésük első megközelítésben nem tűnik nehéznek, hiszen a legtöbb esetben egy terület teljes lefedésére több feladatunk van, mint amennyit egy tesztbe beválogathatunk.

Ekvivalens tesztváltozatok azok a tesztek, amelyek egy tudásterületről, ugyanabból a feladathalmazból arányosan válogatva különböző feladatokat tartalmaznak oly módon, hogy mindenegyes tesztkitöltő esetében azonos a két teszten kapott eredmény. Természetesen ez az ideális eset csak megközelíthető.

Az arányos feladatválogatás több eltérő kritérium, szempont egyidejű érvényesítését jelenti. Például a következő alapvető aspektusok emelhetők ki:

Lényeges, hogy az ekvivalens tesztváltozatok készítésekor másként kezeljük az ismeret-jellegű és képesség-jellegű tudáselemeket mérő tesztfeladatokat. Az ismeret-jellegű elemek a maguk konkrétságában adottak, vagyis többféle feladat esetében, sokfajta rákérdezésre is a helyes válasz mindig ugyanaz. A képesség-jellegű elemek azonban különféle tevékenységekben megnyilvánulhatnak. Például az olvasáskészség felmérésére számtalan szöveget használhatunk, miközben feltesszük, hogy ugyanazt méri mindegyik. Mindent egybevetve a képesség-jellegű tudásnál adott a lehetőség arra, hogy nagyon jó közelítéssel azonosan mérő feladatokat készítsünk, ám az ismeret-jellegű tudáselemek esetében csak azt tehetjük, hogy a hozzájuk rendelt feladatokat arányosan válogatjuk be az egyes tesztváltozatokba.

Végül kiemeljük, hogy a felsorolt alapelvek követésével, csak többszöri kipróbálással, a feladatok cserélgetésével, javításával lehetséges lényegében azonosan mérő tesztváltozatokat készíteni. Az ekvivalenciáról végső soron csak tapasztalati úton bizonyosodhatunk meg.

A megszerkesztett teszteket a gyakorlatban ki is próbálni, majd a tapasztalatok és a teszteredmények statisztikai elemzése alapján az esetleges hibákat ki kell javítani. Általánosságban elmondható, hogy valóban jó tesztek csak hosszabb fejlesztőmunkával készíthető, hiszen a puszta kipróbáláson túl szükség van a tesztek bizonyos paramétereinek bemérésére, kiszámítására.

Például a tesztek standardizálásakor statisztikai eszközökkel azt becsüljük, hogy a tesztelni szándékozott személyek teljes köre (a populáció) milyen teljesítményeket ért el a teszten. Az eljárás a már említett normaorientált tesztek pontozási rendszerének a kialakításához rendelhető (lásd a "A tesztek és itemek főbb mutatói" alfejezetet). A kritériumorientált tudásszintmérő teszteknél azonban más a standardizálás funkciója, hiszen ezek esetében megadható a csoport normáitól független értékelő rendszer is. Ekkor a szerepe az, hogy a kisebb mintákon felvett tesztek eredményei külső szempontok segítségével is értékelhetőkké válnak, ugyanis azok összehasonlíthatók az országos eredményekkel.

A standardizáláshoz országos reprezentatív minta szükséges, s általában tesztváltozatonként elegendő mintegy 300 fő. A mintába kiválasztott tanulók teszteredményei alapján meghatározható az összpontszámok országos átlaga. Egyidejűleg mindegyik tesztitem alapvető jellemzője, hogy a tanulók hány százaléka oldotta meg helyesen. Ezeket az adatokat érdemes a tesztekhez mellékelni, hogy egyéb iskolai méréseknél a teljesítmények az országos színvonalhoz viszonyíthatók legyenek.