När man testar effekten av en behandlingsmetod är den ”gyllene standarden” en randomiserad kontrollerad studie. Detta innebär att man jämför effekten av aktiv behandling bland slumpmässigt utvalda försökspersonerna med en kontrollgrupp. Men vilken typ av kontrollgrupp man jämför med kan variera. Helst vill men ha en kontrollgrupp som inte vet huruvida de får den behandling man utvärderar eller inte, då utför man en så kallad blindad studie. Allra helst vill man inte heller att den som ger behandlingen har koll på vilken typ av behandling en viss försöksperson får, studien kallas då dubbelblindad. När man försöker testa effekten av ett läkemedel i exempelvis tablettform är det enkelt att utföra en dubbelblindad studie men när det gäller kirurgiska ingrepp, akupunktur eller olika typer av psykoterapi är det desto svårare. I vissa fall jämför man då effekten av denna behandling med utfallen i en grupp som inte får någon behandling alls och detta kan vara problematiskt; en ny meta-analys som utvärderat effekten av kognitiv beteendeterapi (KBT) illustrerar detta.
Meta-analysen som publicerats i Acta Psychitrica Scandinavica jämförde effekten av KBT vid depression beroende på vilken kontrollgrupp man jämförde behandlingen med. De olika typerna av kontrollgrupp delades in i tre kategorier:
- Psykologisk placebo: En kontrollgrupp som fick spendera motsvarande tid med terapeuter som de som fick aktiv behandling men utan att genomgå någon ”riktig” behandling.
- Ingen behandling: En kontrollgrupp som varken fick behandling under studien eller efter.
- Väntelista: En kontrollgrupp som inte fick någon behandling medan studien pågick men fick veta att de kunde få behandling efter studiens avslut.
Resultaten visade att effekten av behandling var beroende av vilken kontrollgrupp man jämförde med. Jämfört med psykologisk placebo var effekten relativt liten (OR=1.65) och inte statistiskt signifikant. Effekten av KBT i jämförelse med kontroller som inte fick någon behandling alls var betydligt bättre (OR=3.65) men framför allt verkade KBT väldigt effektivt när man jämförde behandlingen med väntlistekontroller (OR=6.29).
Forskarna bakom studien förklarar resultaten med att personer som vet att de inte får någon behandling är mer benägna att söka annan typ av hjälp medan de som står på väntelista avvaktar tills studien är avslutad. Man nämner också att personer som står på en väntelista verkar påverkas av så kallad nocebo (motsatsen till placebo) vilket innebär att tillståndet försämras i jämförelse med de som inte får någon behandling.
Som alltid handlar jämförelse om skillnader mellan individer eller grupper. För att framstå som bättre på något kan det vara effektivt att jämföra sig med någon som är riktigt dåligt på detta. På samma sätt funkar det med effekter av olika behandlingar och om man utvärderar en metod som egentligen bara förbättrar ens tillstånd marginellt kan denna behandling framstå som oerhört effektiv om man jämför den med en behandling som faktiskt gör en sjukare. Homeopati som egentligen innebär att patienten inte får någon behandling alls framstod till exempel som effektivt när det jämfördes med åderlåtning. Så om du vill visa att din hemmasnickrade behandlingsmetod är effektiv – jämför dess effekt med åderlåtning. Win!
It’s all in the control group
When testing the effect of a treatment, the “golden standard” is a randomized controlled trial. This involves comparing the effect of the active treatment among randomly selected test subjects to a control group. But the kind of control group used for comparison may vary. Ideally, you want a control group that does not know whether they are getting the active treatment (the treatment of interest) or not, and conduct a so-called blinded design. It is even more ideally if the one who gives the treatment is unaware of whether a particular subject is getting active treatment or not, the study is then referred to as double-blinded. When trying to test the efficacy of a pill, for example, it is easy to perform a double-blinded study but when it comes to surgical procedures, acupuncture or various types of psychotherapy, it is more difficult. In some cases, the efficacy of this treatment is compared to the outcomes in a group with no treatment at all and this can be problematic; a new meta-analysis evaluating the effect of cognitive behavioral therapy (CBT) illustrates this.
The meta-analysis published in Acta Psychitrica Scandinavica compared the efficacy of CBT for depression based on what kind of treatment the control group was compared with. The different types of control groups were divided into three categories:
1) Psychological placebo: a control group who were spent the equivalent time with therapists as those who received active treatment but without undergoing a “real” treatment.
2) No treatment: a control group that received no treatment during the study or after.
3) Waiting list: A control group that received no treatment while the trial was going on but was told they could get treatment after completion of the study.
The results showed that the effect of the treatment was dependent on the control group used as comparison. Compared to psychological placebo, the effect was relatively small (OR = 1.65) and not statistically significant. The efficacy of CBT in comparison with controls who received no treatment at all was significantly higher (OR = 3.65) but CBT seemed to be very effective when the treatment was compared with waiting list controls (OR = 6.29).
The researchers behind the study suggest that the results are explained by how people who know they do not receive treatment are more likely to seek other types of assistance, while those on the waiting list are waiting until the study is completed. They also mention that people who are on a waiting list seem to be influenced by so-called nocebo (the opposite of placebo), which means that the condition deteriorates in comparison to those who did not receive any treatment.
As always, comparison is about differences between individuals or groups. To appear better at something, it may be efficient to compare yourself with someone who is really bad at this. This also works when comparing effects of different treatments and when evaluating a method that really only improves one’s condition marginally, this treatment may seem incredibly effective if you compare it with a treatment that actually makes people sicker. For instance, homeopathy which actually means that the patient does not receive any treatment at all appeared effective when compared to bloodletting. So if you want to show that your home-made treatment method is effective – compare its effect with bloodletting. Win!