De SQ-SoVa is een multimedia situationele beoordelingstest (Engels: Situational Judgment Test SJT). Een sociaal intelligente medewerker schat de effectiviteit van gedrag goed in, rekening houdend met de belangen van verschillende stakeholders.

De SQ-SoVa bestaat uit 16 scènes waarin interacties zijn gespeeld door acteurs. Er wordt van kandidaten een oordeel gevraagd van de effectiviteit van sociaal gedrag van medewerkers in relatie met leidinggevenden, collega’s en klanten.

De testtijd bedraagt ongeveer 45 minuten inclusief instructie en oefeningen.

De rapportage is gebaseerd op acht scores. De belangrijkste, de SQ-score, geeft aan hoeveel de persoon in zijn effectiviteitsbeoordelingen overeenkomt met het oordeel van een groep van experts. Experts zijn mensen “die het kunnen weten” op grond van ervaring en reputatie.

Verder zijn er drie SQ-deelscores, voor omgang met leidinggevenden, collega’s en klanten. Ook zijn er vier stijlscores, conform Roos van Leary.

De SQ SoVa is aan meer dan 2500 personen afgenomen. De SQ-score heeft een betrouwbaarheid die hoger is dan .80. 

Meta-analyses van validiteit van SJT’s en videotests (zie referenties) leveren gunstige resultaten op.

Onderzoeksgegevens:         

Onderzoeksgroep en scorekenmerken

In het kader van hernomering werden de antwoorden van 346 personen verzameld die de online SQ-SoVa hadden gemaakt. 56% was man en 44% was vrouw. De meeste deelnemers rapporteerden een afgeronde HBO-opleiding  (41%), gevolgd door MBO- (35%), WO (11%), VMBO/MAVO (6%), VWO (4%) en HAVO (3%). De leeftijd varieerde van 19 tot 62, de gemiddelde leeftijd was 40,5 met een standaarddeviatie van 10,3. 

De maximaal haalbare score is 302,6. De SQ-scores varieerden van 237,8 (78,6% van de maximale score) tot 298,8 (98,7%) en vertoont daarmee voldoende spreiding. Het gemiddelde was 271,0 (90,7%) en de standaarddeviatie 10,1. 

Betrouwbaarheid 

De betrouwbaarheid alfa van de 16 situaties (met elk vier reacties) bedroeg .80 (n=346). Deze waarde is hoger dan gebruikelijk wordt gevonden van SJT’s. 

Groepsverschillen 

De gemiddelde SQ-scores van mannen waren iets (n.s.) lager dan die van vrouwen. Mannen scoren gemiddeld 271,0 met standaarddeviatie 9,4. Vrouwen scoren gemiddeld 272,0 met standaarddeviatie 9,1. 

Er is een gering verschil in opleiding: WO-opgeleiden scoren slechts 0,1 standaarddeviatie hoger dan HBO opgeleiden. Het verschil tussen MBO opgeleiden en hoger opgeleiden (HBO/WO) is minder dan 1/3 standaarddeviatie.  

We vonden een correlatie van -.14 tussen leeftijd en SQ-score. Dit betekent dat de jongere deelnemers het gemiddeld genomen iets beter doen. Net als bij opleiding en geslacht is dit effect gering. Er is geen directe aanleiding om verschillende normgroepen aan te leggen. 

Predictieve en incrementele validiteit 

Er is veel onderzoek verricht naar de voorspellende waarde van SJT's. Daarbij ging het zowel tekstuele als video-SJT’s. Vooral bekend is de meta-analytische studie van McDaniel e.a. (2001). De gevonden validiteit, gecorrigeerd voor onbetrouwbaarheid van praktijkbeoordelingen, is hoog: .34. Zie ook Van der Maesen e.a. (2003) voor theoretische achtergronden en psychometrische onderzoeksresultaten van SJT’s. 

De SQ-SoVa is een video-SJT. Uit onderzoek van bijvoorbeeld Lievens & Sacket (2006) naar de meerwaarde van video- SJT's (zoals de SQ-SoVa) ten opzichte van tekst-SJT's blijkt o.a. dat:

• Video-SJT's beter succes in de omgang met anderen voorspellen dan tekst-SJT's
• Video-SJT's minder gerelateerd zijn aan cognitieve capaciteitentests dan tekst-SJT's .
• Video SJT's meer incrementele validiteit hebben ten opzichte van cognitieve capaciteitentests dan tekst-SJT
• Video SJT's beter geaccepteerd worden dan tekst-SJT's.
• Video SJT's minder adverse impact hebben.

Voor zover er gelegenheid is geweest om van soortgelijke SQ-tests de criteriumgerelateerde validiteit vast te stellen (bijv. Oostrom, 2010) kwam dit goed overeen met bovengenoemde onderzoeksresultaten.

Acceptatie (face validity): 

Van video-SJT’s, zoals bijvoorbeeld de SQ-SoVa, is bekend dat deze worden geaccepteerd als leuk en relevant (Op de Beek, 2011). In 2016 werd een schriftelijke versie van de SQ-SoVa ingezet samen met een kritisch denken test en een cognitieve vaardigheidstest (Li, 2016). De deelnemers vonden de SQ-SoVa leuk om te doen (3,9 op een schaal van 1 tot 5) en relevant voor het meten van sociale vaardigheden. Omdat dit een schriftelijke variant betrof zijn de waarderingen door de deelnemers waarschijnlijk een onderschatting van de video-variant van de SQ-SoVa.

Normering: 

De antwoorden van de beschreven groep personen (n=346) hebben als basis gediend voor de normering. 

De normering van de SQ-sore is in decielen, die van de vier deelgebieden is in quintielen (1-20, 21-40, 41-60, 61-80, 81-100). Voor die van de vier communicatiestijlen is de volgende indeling gebruikt: 

1      1-15%

2      16-85%

3      86-100%

Reden voor de driepuntsnormering van stijlscores is het vermijden van overinterpretatie van deze scores. De scores moeten met voorzichtigheid behandeld worden; ze genereren hoogstens hypothesen die met behulp van andere diagnostische middelen – bijv. interview – getoetst moeten worden. 

Expertpanel:  

We hebben aan meer dan vijftien deskundigen gevraagd om in de rol van ‘expert’ de acties te beoordelen op effectiviteit. Het gaat om een diverse groep met ruime ervaring met veel zicht op sociale vaardigheden van anderen. Deze oordelen zijn verwerkt en hun overeenstemmingsbetrouwbaarheid bleek hoog te zijn (alpha van .93). Gecontroleerd is of er expertbeoordelaars waren die structureel afwijken van de andere experts maar dit bleek niet het geval te zijn. Hierdoor konden alle expertbeoordelingen gehandhaafd konden worden. De gemiddelde antwoorden van het expertpanel werden vergeleken met de gemiddelde antwoorden van 346 deelnemers (vergelijkbaar met een ‘publiekspanel’). Deze exercitie kan worden opgevat als een extra controle op de kwaliteit van de expertoordelen. De correlatie tussen het expertpanel en de gemiddelde oordelen van de deelnemers was .96. 

Referenties:

McDaniel, M.A., Morgeson, F.P., Finnegan, E.B., Campion, M.A., and Braverman, E.P. (2001). Use of situational judgment tests to predict job performance: A clarification of the literature. Journal of Applied Psychology, 86, 4, 730-740

Salgado, J.F. & M. Lado (2000). Validity generalization of video tests for predicting job performance ratings. Paper presented at the 15th Annual Conference of the Society of Industrial and Organisational Psychology, April, New Orleans.

Maesen de Sombreff, P. van der, Born, M., van Oudenhoven-van der Zee, K. & Ruhe, D. (2003). Situationele beoordelingstests in de schijnwerpers, De Psycholoog, 38, 2, 58-67.