Wat is wetenschap en wat niet?

1.   Inleiding

In deze onzekere tijden is iedereen op zoek naar de antwoorden op grote en kleine vragen. Op social media en internet en in dag- en weekbladen kan je heel veel verschillende artikelen vinden. Daarin worden op verschillende manieren antwoorden op die vragen gegeven. Maar hoe kan je bepalen wat een goed wetenschappelijk onderzoek is, wat goede journalistiek is en wat luchtig bij elkaar gestopte borrelpraat? Of met andere woorden: wanneer kan je op de inhoud van een artikel vertrouwen en wanneer moet je op je hoede zijn?

Ik kwam hier op naar aanleiding van een interessante discussie binnen de NVZ over de bewijssterkte van verschillende artikelen, en wat we nu met onze leden kunnen delen of niet. Tijdens de opleiding logopedie heb ik tijdens het vak ‘Evidece Based Practice’ (EBP) colleges over dit onderwerp gehad en geleerd hoe je onderzoeken en publicaties moet beoordelen. De afbeeldingen hieronder komen uit die colleges. In een gezin met wetenschappers en (beta)studenten komt dit onderwerp ook regelmatig ter tafel. Door die kennis in een artikel te zetten hoop ik collega zangers/musici die dit niet tijdens de opleiding hebben gehad een beetje te kunnen helpen om door de bomen het bos te herkennen.

In dit artikel (essay) zet ik de verschillende soorten artikelen en publicaties op een rij: van wetenschappelijk onderzoek tot essay. Daarin benoem ik ook het grijze gebied van de onderzoeken.

2.   Wetenschappelijke onderzoeken

Eerst de termen

Wat is wetenschap?

we·ten·schap(de ~ (v.), ~pen) 1 het systematisch geordende geheel van het weten en van de regels waarmee verdere kennis verkregen kan worden

Op z’n minst is wetenschap het streven van mensen om op een zo verstandig mogelijke manier oplossingen van echte problemen te ontwikkelen. Helaas hebben echte problemen veel verschillende facetten, die niet met één oplossing klaar zijn. In andere woorden: wetenschap bestaat uit hele kleine stapjes onderzoeken die samen iets opleveren.

Wat is onderzoek?

Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op vooraf gestelde vragen volgens een tevoren opgesteld plan. Betrouwbaar, onafhankelijk wetenschappelijk onderzoek wordt voornamelijk gedaan op universiteiten en soms op hogescholen. Soms zijn onderzoeken zo duur dat ook bedrijfsleven helpt financieren. Dan zijn er extra checks nodig om te zorgen dat de uitkomsten daar niet door beïnvloed worden.

Wat zijn bronnen?

Bronnen zijn de oorspronkelijke plek waar iets gepubliceerd is. Dus het onderzoek, boek of tijdschrift waar iets voor het eerst is verschenen. Ook onderzoeksdata zelf zijn een (primaire) bron. Als een uitspraak ergens anders vandaan komt (ander artikel, boek) moet dat in de tekst of in de voetnoot èn in de literatuurlijst worden vermeld.
Bronnen worden volgens vaste methodes opgeschreven, meestal APA. Voorbeelden:

• Franken, M.C. & Hakkesteegt, M. Eldar Spreken en zingen (herz. druk 2011) Assen: van Gorcum.
• Hartingsveldt, M. van, Leenders, J. & Cup, E. (2010). Veranderen door handelen en motivational interviewing. Logopedie en Foniatrie,6 ,202- 206.

Terminologie: bewijs, evidence en evidentie

• Bewijs: resultaat wetenschappelijk onderzoek
• Evidence: kennis uit verschillende bronnen, die getest is en betrouwbaar is bevonden
• Evidentie: grote waarschijnlijkheid, niet beredeneerde zekerheid

De wetenschappelijke cyclus

Een cyclus van probleem/vraag via gestructureerd onderzoek tot antwoord wordt ook wel de wetenschappelijk cyclus genoemd. Het antwoord op de primaire vraag leidt bijna altijd tot een nieuwe vraag, waarop de hele cyclus zich weer herhaalt.

Hiërarchie van bewijssterkte

Het belangrijkste onderscheid in bewijssterkte van een onderzoek is hoeveel data zijn onderzocht. In medische onderzoeken gaat het dan om het aantal proefpersonen of patiënten, kortweg met ‘N’ aangeduid. In de natuurkunde over de hoeveelheid cijferdata. Bij meta-analyses om de hoeveelheid onderzoeken die bij elkaar worden genomen. Om de sterkte van de verschillende soorten onderzoek te kunnen vergelijken zijn er verschillende lijstjes.

Een voorbeeld is de piramide van Haynes zoals gebruikt in de medische wereld voor Evidence Based Practice. Daarin zie je dat summaries, grote metastudies, bovenaan staan. Hoe groter de studie is, hoe meer data en proefpersonen zijn onderzocht, hoe betekenisvoller de uitslag (het groene topje). Dit is heel duur dus gebeurt niet vaak. Dit soort onderzoeken heten RCT’s, omdat ze werken met gerandomiseerde data Dit soort onderzoeken staan bovenaan de rangorde van de hiërarchie. Er worden echter heel veel kleine onderzoeken gedaan die ieder op zich een heel klein stukje bewijs leveren (oranje deel). Onderzoeken die (nog) niet door ‘peers’ zijn besproken staan in het rode deel.

Een net even andere voorstelling zie je hier:

Meta-analyses staan dus boven aan de ranglijst. Dit zijn omvangrijke onderzoeken zoals nu wordt gedaan door VirMus. Deze grote onderzoeken kosten veel tijd. Bij C zie je ‘case-studies’ staan. Dat zijn beschrijvingen van 1 casus/patiënt, dus 1 N. Dat geldt als een zwak bewijs van de aannames. maar als je meerdere case-studies bij elkaar neemt kan het bewijs steeds sterker worden (meer N). Aan de onderkant zie je de ‘expert opinion’. Dat is het nemen van besluiten omdat iedereen het altijd al zo doet.

Hoe herken je een wetenschappelijke publicatie?

• Naam of titel: Onderzoeksrapport, Onderzoek artikel, Proefschrift, Scriptie
• Is het peer reviewed? Peer review is de controle door onafhankelijke onderzoekers (peers) die het artikel beoordelen, de data en methode checken. Pas als een onderzoek is peer reviewed wordt een artikel gepubliceerd. Tegenwoordig komen onderzoekers vaak met resultaten naar buiten (websites-kranten) die nog niet peer reviewed zijn. Die onderzoeken zijn dus (nog) niet betrouwbaar.
• Waar gepubliceerd: vakbladen, wetenschappelijke uitgaves.
• Indeling: meestal standaard: zie dit voorbeeld

1. Samenvatting
2. Inleiding met onderzoeksvraag
3. Methode en materialen
4. Resultaten
5. Discussie
6. Bronnen

In de medische wereld, en onder beta’s is deze indeling zeer bindend. In andere sectoren (bv filosofie, literatuur) bestaan hier varianten op. Maar ook die varianten pogen op systematische en herhaalbare wijze wetenschappelijke kennis over het voetlicht te brengen.

• De taal is meestal Engels en de schrijfstijl is afstandelijk: ‘ik’ zal er nooit in staan.
• Het onderzoek moet herhaalbaar en controleerbaar zijn.

Waar vind je dit soort artikelen?

• Hoofdstukken in boeken, artikelen in wetenschappelijke tijdschriften
• Zoekmachine Google Scolar met goede zoektermen
• Vakspecifieke databanken/databases. Medisch: Cochrane, Pubmed. Voor beta’s: Scopus. Octrooien: Espacenet.
• Websites vakverenigingen

Niet alles is vrij toegankelijk

Hoe herken je pseudowetenschap?

Pseudowetenschap is een verzameling van aannames en beweringen die niet (of slechts deels, of op basis van veel te dun bewijs) wetenschappelijk zijn getoetst. En ze worden met veel stelligheid beweerd. Kenmerken van pseudowetenschap zijn:

• Gevonden in advertenties of populaire weekbladen (of in Youtube-filmpjes van mensen die snel en kort door de bocht willen scoren (geld verdienen)
• Geen plausibele wetenschappelijke basis
• Geen falsificatie
• Vooral persoonlijke succesverhalen
• Gebruik onduidelijke termen en definities
• Claim grandioze effecten
• Vermijding kritische beoordeling door anderen
• Slecht gedefinieerde effecten
• Evaluatie is niet mogelijk

Kortom: men probeert op een makkelijke manier, of met één grote stap een probleem op te lossen.

Soms kunnen de beweegredenen van schrijvers van pseudowetenschap heel nobel zijn. Maar door zich niet aan de standaard onderzoeksmethoden te houden is hun positie heel kwetsbaar. Overigens blijkt soms na jaren van onderzoek dat stellingen op pseudowetenschappelijke basis toch waar blijken te zijn.

Grijze gebieden en twijfelgevallen

Op verschillende vakgebieden worden heel veel kleine deelonderzoeken gedaan (met weinig proefpersonen of onder zeer specifieke omstandigheden). Vaak worden ook onderzoeken gedaan om bepaalde theorieën uit te sluiten. Op dit moment wordt er bijvoorbeeld veel onderzoek gedaan door natuurkundigen over luchtstromen en aerosolen. In het geval van de verspreiding van het coronavirus: de aerosolen verspreiden zich op een bepaalde manier door de lucht. Maar met die resultaten kan je niet iets zeggen over medische vraagstukken. De hoeveelheid virus op aerosolen is bijvoorbeeld nog steeds niet bekend. Zolang de verschillende disciplines niet samen tot een eindconclusie zijn gekomen kunnen daar dus nog geen definitieve conclusies uit worden getrokken. Dit is natuurlijk wel aantrekkelijk en mensen als Maurice de Hond, Willem Engel en complotdenkers doen dat graag. Zij pikken uit de stroom van onderzoeken datgene wat in hun straatje past (cherry picking) en trekken daar veel te grote en algemene conclusies uit. Je moet hier heel voorzichtig mee zijn.

Uit die kleine deelonderzoeken komen soms nuttige resultaten die een klein onderdeel van het probleem verklaren of een oplossing kunnen bieden. Het onderzoek naar luchtreinigers is zo’n onderzoek. Dit soort kennis kan je prima delen als antwoord op de vraag ‘Heeft het zin om een luchtreiniger voor mijn leskamer te kopen, en welke (soort) is dan het beste?’ Nog mooier wordt het als je er nog wat meer informatie omheen geeft en vooral opmerkt dat het hele probleem (kan je besmet raken met het Sars-Cov-2 virus door ademdruppeltjes?) hiermee niet opgelost is.

Een ander voorbeeld is de mondkapjes discussie: natuurkundig gesproken ontsnappen virusdeeltjes makkelijk bij verkeerd gebruik, en kan daardoor virus via de lucht, handen en oppervlakten worden verspreid (is onderzoek naar gedaan in labsetting). Maar een sociologische/psychologische kijk er op bevestigd eventueel nut, omdat het onder andere een signaalfunctie – bewustwordingseffect heeft. Dat laatste is natuurlijk heel lastig te onderzoeken.

3.   Verslag van onderzoek in tijdschriften en op websites

In vakbladen en websites van vakverenigingen verschijnen ook goede besprekingen of samenvattingen van wetenschappelijke onderzoeken. Die zijn makkelijk leesbaar en dat is fijn, want al die bovenstaande artikelen zijn best taaie kost. Belangrijk is dat in dit soort artikelen de namen van de onderzoekers en de titel van het onderzoek voluit worden gemeld, zodat je de bron kunt achterhalen en de conclusies kunt verifiëren.

4.   Journalistiek artikel/onderzoek

Goed journalistiek onderzoek kenmerkt zich door:

• Duidelijke vraagstelling
• De 4 W’s: Wie, Wat, Waar en Waarom?
• Toepassen van hoor en wederhoor (onderzoek met tegengestelde uitkomsten ernaast zetten)

Goede voorbeelden: Argos, Zembla, De Correspondent, sommige vakbladen. De meeste kwaliteitskranten. Zie hier een voorbeeld uit het NRC

5.   Essay

Een essay is een opiniërend stuk. Je vindt het in boeken, dagbladen, weekbladen en op websites. Soms zijn essays gebaseerd op onderzoek en geeft de schrijver er een persoonlijke draai aan of interpretatie op. Soms zijn essays reflectie op dingen die we niet weten en is het zuiver speculatief. Dit alles heeft natuurlijk geen enkele wetenschappelijke inhoud. Je herkent een essay aan de persoonlijke schrijfstijl en het gebrek aan bronnen en data.

Dit artikel is er een voorbeeld van. Maar hopelijk geeft het toch antwoord op de vraag: wanneer kan ik op de inhoud van een artikel vertrouwen, en wanneer moet ik op mijn hoede zijn?

6.   Conclusie

Er wordt heel erg veel onderzocht, geschreven en gepubliceerd. Al die verschillende publicaties moet je beoordelen op hun inhoud. Hopelijk helpt de informatie zoals hierboven beschreven om die inhoud te beoordelen op zijn specifieke waarde.

Toevoeging op 19 oktober 2020:

Boeken, kranten en sommige tijdschriften worden uitgegeven bij uitgevers die kritisch naar de inhoud kijken. Ze maken daarin scherpe keuzes die ze moeten verantwoorden. Dat is ook het doel van goede journalistiek. Echter op Facebook en Youtube is geen uitgever die de inhoud van hun platforms controleert. Iedereen kan er zomaar van alles op zetten. En hoe meer onzin, hoe meer kliks, hoe meer geld die platforms er mee verdienen. Arjen Lubach legt het hier haarscherp uit:

https://www.youtube.com/watch?v=FLoR2Spftwg

7.   Meer informatie

http://informationliteracy.tudelft.nl/Informatievaardigheden2/Leerstof_Eng/page_01.htm

Een slagveld vol gesneuvelde stokpaardjes, ook dát is wetenschap.
De Volkskrant publiceerde een artikel vol veelgestelde coronavragen, met de nieuwste wetenschappelijke inzichten. Wetenschapsredacteuren Ellen de Visser en Maarten Keulemans bieden behalve antwoorden ook een prachtig inkijkje in hoe wetenschap werkt. Een bekend motto onder wetenschappers luidt ‘één studie is geen studie’. Vaak zijn er meerdere studies nodig – bijvoorbeeld proefdieronderzoek, labstudies én veldonderzoek – en klikken dan pas de puzzelstukjes aan elkaar en ontstaat er een zinnig beeld. (VK, Tonie Mudde. 16/10/2020)

Met dank aan: College EBP 2013 van Karin Neijenhuis – docent EBP Hogeschool Rotterdam, Ernst van Bemmelen van Gent en Jorian van Bemmelen.

Willemijn van Gent,

Oktober 2020