Een betrouwbaar assessment

Ik was vroeger een nogal ondernemende kleuter. Mijn ouders herinnerde er mij dan ook elke keer als ik weer ging buiten spelen vriendelijk, doch dringend aan: Niet zomaar praten met vreemde mensen, en al helemaal geen snoepjes aannemen! Maar behalve ondernemend was (ben?) ik ook een klein beetje eigenwijs… Dus heb ik toch één keer een snoepje op straat aangenomen. De dame die het aanbood was in mijn ongeveer-vijfjarige-ogen toch minstens 100 jaar ouder dan mijn eigen oma, dus oordeelde ik dat het in dit geval weinig kwaad kon. En gelukkig had die beslissing alleen wat kleverige handjes als gevolg.

Toen ik opgroeide veranderde het snoepje dat ikniet mocht aannemen in een drankje. En aangezien ik een vriendinnetje had die na een avondje stappen door GHB in een coma terechtgekomen was, kwam deze boodschap duidelijker bij me aan. Het is heel logisch en helaas noodzakelijk dat we onze kinderen deze waarschuwing meegeven. Maar gaan we ook zo voorzichtig om met onze coachee’s of werknemers?

Testen zijn hot, maar niet altijd betrouwbaar
Testen, analyses en assessments zijn hot geworden. Mensen willen alles meten, checken en weten. Maar bij het zoeken naar een assessment wordt er nauwelijks gevraagd naar validiteit of betrouwbaarheid. En we nemen niet alleen zomaar deze snoepjes aan van vreemden, maar we delen ze ook uit aan werknemers. Een van de meest bekende online testenleverancier geeft aan dat 10 van zijn 68 “psychologische testen” wetenschappelijk onderbouwd zijn. Van deze 10 testen of analyses is er volgens hun eigen informatie echter maar één die recentelijk (de afgelopen 10 jaar) is gevalideerd.

Is dit erg?
Niet als het assessment wordt ingezet uit nieuwsgierigheid of alleen “voor de lol”. Wél als er een oordeel aan wordt gehangen, of als het de basis moet zijn voor een persoonlijk ontwikkeltraject of bijvoorbeeld werving en selectie. Volgens deze leverancier zijn het loopbaanadviseurs, psychologen, P&O-ers en grote bedrijven die dagelijks gebruik maken van zijn testen. Dat baart mij wel een beetje zorgen. Het wil namelijk zeggen dat er dagelijks mensen zijn die voortborduren op een instabiele, onbetrouwbare basis. Mensen die van hun (loopbaan)coach verwachten een betrouwbaar advies te krijgen op basis van een test. Maar als de basis al niet betrouwbaar is, of erger nog, helemaal niet klopt, hoe kan er dan passend advies worden gegeven?

Wat betekent validatie precies? En wat betekent het voor de betrouwbaarheid van assessments?
Validiteit en validatie is eigenlijk de overkoepelende term die wordt gebruikt om te toetsen en aan te tonen of een instrument (test, toets, assessment enz.) geschikt is voor gebruik in de praktijk. Eigenlijk moet de validatie van een instrument in ieder geval antwoord kunnen geven op de volgende twee basale vragen:

1. Meet het instrument wat het verondersteld wordt te meten?
2. Hoe goed meet dit instrument dit dan?

Validiteit van een instrument is bijvoorbeeld afhankelijk van de inhoud en woordkeuze van de vragenlijst, in hoeverre de antwoordkeuzes discriminerend zijn, wát de uitkomst nu precies zegt/voorspelt over de respondent, en of een vragenlijst bij een tweede invulling dezelfde antwoorden zou geven.

Waarom validatie belangrijk is
Personen worden wel of niet aangenomen op basis van deze analyses. Maken beslissingen over hun loopbaan en/of leven. Is het dan niet meer dan eerlijk om bewezen betrouwbare assessments te leveren? En ook transparant te zijn over de validatie die een tool wel of niet heeft doorlopen? TTI SI is zich heel erg bewust van de waarde die onze analyses hebben. Daarom willen wij aan onze consultants kunnen laten zien dat ze ons “snoepje” veilig kunnen aannemen én uitdelen, dat wij een betrouwbaar assessment leveren.

Het begrijpen van technische validatierapporten is echter nog niet zo simpel. Zeker wanneer je verder geen kennis van de verschillende statistische termen hebt. Daarom stellen we vanaf heden een whitepaper beschikbaar waarin deze termen met hun betekenis worden uitgelegd aan de hand van concrete voorbeelden. We vinden het belangrijk dat onze consultants goed weten waar de uitkomsten op gebaseerd zijn, hoe ze tot stand zijn gekomen, maar vooral waarom deze instrumenten zo geschikt zijn om het beste in mensen naar boven te halen!

Een snoepje van oma mocht ik altijd aannemen. Dan wisten mijn ouders dat het goed zat. Waar komen jouw snoepjes vandaan?