’Observer bias’: invloed op de uitkomsten van gerandomiseerd onderzoek

PublicatieNr. 2 - 1 maart 2013
Jaargang47
RubriekNieuwe onderzoeken
Auteurdr D. Bijl
Pagina's22-23

Achtergrond. Het gerandomiseerde onderzoek geldt als de meest valide onderzoeksmethode om de werkzaamheid en bijwerkingen van interventies in de gezondheidszorg te onderzoeken. De validiteit van dergelijk onderzoek kan echter worden bedreigd doordat bepalingen van uitkomstmaten systematisch kunnen afwijken van de werkelijkheid vanwege vooringenomenheid bij beoordelaars, door onder meer hoop of verwachtingen. Als onderzoeksresultaten hierdoor worden vertekend, spreekt men van ’observer bias’, ook wel ’ascertainment bias’ of ’detection bias’ genoemd. Observer bias zou met name een rol spelen bij sterke vooringenomenheid van beoordelaars van uitkomsten of als de uitkomsten subjectief zijn.
Om bias te voorkomen worden in veel onderzoeken geblindeerde beoordelaars gebruikt. Om de invloed van blindering op de uitkomstmaten te onderzoeken, kan men het beste onderzoeken vergelijken waarbij uitkomstmaten werden beoordeeld door zowel geblindeerde als nietgeblindeerde beoordelaars. Onderzoekers analyseerden de uitkomsten van dergelijke onderzoeken waarin gebruik werd gemaakt van binaire uitkomsten. Aangenomen wordt dat bij binaire uitkomsten, waarbij de uitkomsten in één van twee categorieën worden gegeven (ja of nee), het effect van vooringenomenheid goed kan worden vastgesteld.

Methode. Er werd een systematisch literatuuroverzicht gemaakt van onderzoeken met zowel geblindeerde als niet-geblindeerde bepalingen van dezelfde binaire uitkomstmaten.1 Van elk onderzoek werd een ratio van odds ratio’s (ROR) berekend, dat wil zeggen de odds ratio van de niet-geblindeerde uitkomsten in relatie tot de corresponderende geblindeerde uitkomsten (ROR=ORniet-blind/ORblind). Er werd gekeken naar uitkomsten waarbij de interventie niet effectief was. Een odds ratio kleiner dan één duidt op een positief effect van een interventie. Een ROR kleiner dan één duidt er op dat niet-geblindeerde beoordelaars optimistischere schattingen van de uitkomsten gaven dan de geblindeerde. De afzonderlijke odds ratio’s werden samengevat in een meta-analyse waarin gebruik werd gemaakt van een ’random effects’-model. Hierbij gaat men er van uit, in tegenstelling tot het ’fixed effects’-model, dat alle onderzoeken in werkelijkheid niet hetzelfde effect schatten (Gebu 2012; 46: 88-89).

Resultaat. Er werden 21 onderzoeken gevonden met in totaal 4.391 patiënten waarin de binaire uitkomsten door zowel geblindeerde als niet-geblindeerde beoordelaars werden beoordeeld. In 15 van de 21 onderzoeken werd het effect van een chirurgische ingreep onderzocht. In het merendeel van de onderzoeken waren de uitkomsten subjectief, zoals een kwalitatieve functiebepaling van bijvoorbeeld een neurologische stoornis of de status van een wondgenezing of fractuurgenezing. De ROR liep uiteen van 0,02 tot 14,4. De samengevatte ofwel gemiddelde ROR bedroeg 0,64 (95%BI=0,43-0,96), hetgeen wijst op een gemiddeld te gunstige beoordeling van de nietgeblindeerde beoordelaars van 36% in vergelijking met geblindeerde. Niet-geblindeerde beoordelaars stelden bijvoorbeeld in 26% van de gevallen niet vast dat een interventie niet was geslaagd, zoals een niet-genezen wond. Geblindeerde en niet-geblindeerde beoordelaars kwamen in 78% van hun beoordelingen (mediaan) overeen in hun oordeel, hetgeen door de auteurs als een hoge mate van overeenstemming wordt beschouwd. Het aantal te gunstige beoordelingen van niet-geblindeerde beoordelaars dat moet worden geherclassificeerd teneinde geen resultaat van een interventie te verkrijgen, bedraagt mediaan 3% van de patiënten. Geen onderzoek was vrij van vertekenende factoren ofwel confounders, maar analysen waarin hiermee rekening werd gehouden, toonden geen andere uitkomsten.

Conclusie onderzoekers.  Gemiddeld genomen geven niet-geblindeerde onderzoekers van subjectieve uitkomstmaten effectschattingen in gerandomiseerd onderzoek die in aanzienlijke mate zijn vertekend waardoor de odds ratio’s worden overschat met circa 36%. Deze bias kwam voor terwijl er sprake was van een hoge mate van overeenstemming tussen geblindeerde en niet-geblindeerde beoordelaars en er slechts bij een gering aantal patiënten sprake was van misclassificatie.

Plaatsbepaling

Dit onderzoek toont nog eens dat het gerandomiseerde onderzoek bij voorkeur geblindeerd dient te worden beoordeeld om de kans op vertekening van de uitkomsten door hoop en verwachtingen van beoordelaars zo klein mogelijk te houden. Ofschoon wel wordt aangevoerd dat het blinderen van beoordelaars onnodig en lastig kan zijn, is het een relatief kleine procedure om de betrouwbaarheid van de uitkomsten te vergroten. Dat geldt te meer, zoals in dit onderzoek, als blijkt dat het misclassificeren van slechts enkele patiënten tot een ander of negatief resultaat kan leiden.
De conclusie heeft betrekking op gerandomiseerde onderzoeken met voornamelijk subjectieve uitkomstmaten. Het is te verwachten dat er minder observer bias optreedt bij objectievere uitkomstmaten maar daarbij doet zich de vraag voor, zoals de auteurs stellen, welke uitkomstmaten, afgezien van overlijden of bepaalde laboratoriumwaarden, evident objectief zijn.
De auteurs sluiten af met de constatering dat observeren essentieel is voor wetenschappelijk onderzoek in het algemeen en dat observer bias daar vermoedelijk ook deel van uitmaakt.


Literatuurreferentie

1. Observer bias in randomised clinical trials with binary outcomes: systematic review of trials with both blinded and non-blinded outcome assessors. BMJ 2012; 344: e1119.