Om du skriver en uppsats som bygger på kvantitativ metod kommer du förr eller senare att stöta på begrepp som statistisk signifikans, p-värde och signifikansnivå. Dessa begrepp förekommer ofta i vetenskapliga artiklar och statistiska analyser, men det är inte alltid självklart vad de egentligen betyder eller hur man ska tolka dem i praktiken.
Kanske har du genomfört en regressionsanalys i SPSS, Stata eller R och fått fram ett p-värde på 0,032, men är osäker på vad siffran innebär. Eller så har du läst en vetenskaplig studie där forskarna skriver att resultatet är statistiskt signifikant på femprocentsnivån, utan att riktigt förstå varför just denna gräns är viktig.
För att kunna använda statistiska analyser på ett korrekt sätt behöver du förstå vad dessa värden berättar om ditt datamaterial, men också vilka slutsatser du faktiskt kan dra utifrån dem. I den här guiden går vi därför igenom vad statistisk signifikans innebär, hur p-värden fungerar och hur du kan tolka och beskriva resultaten i din egen uppsats.
Vad är statistisk signifikans?
Statistisk signifikans används för att bedöma om ett resultat ger tillräckligt starka statistiska belägg för att förkasta en viss hypotes, som vanligtvis innebär att det inte finns någon skillnad eller något samband.
Vi kan börja med ett enkelt exempel.
Föreställ dig att du vill undersöka om studenter som regelbundet deltar i föreläsningar får högre tentamensresultat än studenter som sällan deltar. Du samlar därför in uppgifter om två studentgrupper och jämför deras genomsnittliga tentamenspoäng.
När du sammanställer resultaten ser du att studenterna som regelbundet deltar i föreläsningarna i genomsnitt har fått 78 poäng, medan studenterna som sällan deltar har fått 72 poäng.
Det finns alltså en skillnad på sex poäng mellan grupperna, men betyder detta att det verkligen finns en skillnad även bland studenter i allmänhet?
Det är nämligen fullt möjligt att två grupper får olika genomsnittliga resultat även om det inte finns någon verklig skillnad i den större population som de kommer ifrån. Om vi exempelvis hade valt ut andra studenter skulle genomsnitten kunna se annorlunda ut, eftersom resultaten påverkas av vilka personer som råkar ingå i undersökningen.
Det är denna osäkerhet som vi försöker undersöka med hjälp av statistisk hypotesprövning.
Om skillnaden mellan grupperna är statistiskt signifikant innebär det att det observerade resultatet är svårt att förena med antagandet att det inte finns någon verklig skillnad, åtminstone enligt den statistiska modell och de antaganden som används i analysen.
Det betyder däremot inte att vi automatiskt har bevisat att föreläsningsdeltagandet orsakar bättre tentamensresultat, eftersom även andra faktorer kan påverka studenternas prestationer.
Vad är ett p-värde?
Ett p-värde är ett statistiskt mått som används vid hypotesprövning för att bedöma hur väl det observerade resultatet stämmer överens med den så kallade nollhypotesen.
Enkelt uttryckt visar p-värdet hur ovanligt det skulle vara att få ett resultat som är minst lika extremt som det vi har observerat, om nollhypotesen faktiskt vore sann och den statistiska modellens antaganden stämde.
Det kan låta lite komplicerat, men vi går igenom det steg för steg.
Vi återvänder till exemplet med föreläsningsdeltagande och tentamensresultat, där den ena studentgruppen hade ett genomsnitt på 78 poäng och den andra på 72 poäng.
Vi vill nu undersöka om skillnaden är statistiskt signifikant.
För detta behöver vi först formulera två hypoteser.
Nollhypotesen (H0) innebär att det inte finns någon skillnad i det genomsnittliga tentamensresultatet mellan grupperna i den population vi undersöker.
Alternativhypotesen (H1) innebär att det finns en skillnad mellan gruppernas genomsnittliga tentamensresultat.
Vi genomför sedan ett statistiskt test, exempelvis ett oberoende t-test, för att undersöka om den observerade skillnaden ger tillräckligt starka belägg för att förkasta nollhypotesen.
Anta att analysen ger ett p-värde på 0,02.
Det betyder att om det i verkligheten inte fanns någon skillnad mellan gruppernas genomsnitt, skulle sannolikheten enligt testets antaganden vara 2 procent att få en skillnad som är minst lika extrem som den vi har observerat.
Eftersom ett sådant resultat är relativt ovanligt under nollhypotesen kan det ge oss anledning att ifrågasätta antagandet att grupperna inte skiljer sig åt.
Det är dock viktigt att förstå att p-värdet inte visar sannolikheten för att nollhypotesen är sann. Ett p-värde på 0,02 betyder alltså inte att det bara finns 2 procents sannolikhet att gruppernas genomsnitt egentligen är lika, utan beskriver sannolikheten för vissa möjliga resultat under antagandet att nollhypotesen stämmer.
Vad betyder p-värde 0,05?
När man arbetar med statistisk signifikans används ofta en signifikansnivå på 0,05, vilket motsvarar 5 procent.
Signifikansnivån brukar betecknas med den grekiska bokstaven alfa (α) och bestäms innan man genomför den statistiska hypotesprövningen.
Om du väljer en signifikansnivå på 0,05 innebär det att du använder följande beslutsregel:
- p ≤ 0,05: Resultatet betraktas som statistiskt signifikant och nollhypotesen förkastas.
- p > 0,05: Resultatet är inte statistiskt signifikant och nollhypotesen kan inte förkastas.
Det är viktigt att förstå att gränsen 0,05 är en etablerad statistisk konvention och inte någon naturlag som automatiskt avgör om ett forskningsresultat är viktigt eller oviktigt.
Vi kan exempelvis jämföra två olika analyser där den första ger ett p-värde på 0,049 och den andra ett p-värde på 0,051.
Om vi använder signifikansnivån 0,05 skulle det första resultatet klassificeras som statistiskt signifikant, medan det andra inte skulle göra det. Skillnaden mellan p-värdena är dock mycket liten, vilket betyder att resultaten i praktiken kan ge nästan lika starka statistiska belägg mot nollhypotesen.
Därför bör du inte enbart fokusera på om p-värdet ligger precis över eller under gränsen, utan också undersöka hur stort det observerade sambandet eller skillnaden är och hur säkra skattningarna verkar vara.
Hur tolkar man olika p-värden?
När du genomför en statistisk analys kan du få fram många olika p-värden, och det är därför bra att förstå hur dessa vanligtvis tolkas.
Tabellen nedan visar några exempel där vi utgår från en signifikansnivå på 0,05.
| P-värde | Tolkning |
|---|---|
| 0,001 | Statistiskt signifikant |
| 0,012 | Statistiskt signifikant |
| 0,038 | Statistiskt signifikant |
| 0,050 | Precis vid signifikansgränsen |
| 0,076 | Inte statistiskt signifikant |
| 0,214 | Inte statistiskt signifikant |
| 0,683 | Inte statistiskt signifikant |
Tabellen visar att p-värden som är lika med eller lägre än 0,05 betraktas som statistiskt signifikanta enligt den valda signifikansnivån.
Ett p-värde på 0,001 innebär att ett resultat som är minst lika extremt som det observerade skulle vara mycket ovanligt om nollhypotesen vore sann. Ett p-värde på 0,683 innebär däremot att ett sådant resultat inte alls är särskilt ovanligt under nollhypotesen.
Det betyder inte att resultatet med p = 0,683 bevisar att det saknas ett samband, utan bara att analysen inte ger tillräckligt starka statistiska belägg för att förkasta nollhypotesen.
Du kan också stöta på andra signifikansnivåer, exempelvis 0,01 och 0,10, beroende på forskningsområde och vilken typ av undersökning som genomförs. Om du använder en signifikansnivå på 0,01 ställer du högre krav på resultaten för att de ska räknas som statistiskt signifikanta, medan en signifikansnivå på 0,10 innebär en mindre strikt gräns.
Hur vet man om ett resultat är statistiskt signifikant?
För att avgöra om ett resultat är statistiskt signifikant behöver du vanligtvis känna till vilken signifikansnivå som används och vilket p-värde som har beräknats.
Vi kan ta ett exempel från en undersökning där forskaren vill undersöka om det finns ett samband mellan antalet timmar som studenter arbetar vid sidan av studierna och deras genomsnittliga betyg.
Forskaren genomför en linjär regressionsanalys och får följande resultat:
| Variabel | Regressionskoefficient | p-värde |
|---|---|---|
| Konstant | 4,2 | < 0,001 |
| Arbetstid (timmar/vecka) | −0,03 | 0,018 |
Resultaten är påhittade och används endast som ett pedagogiskt exempel.
Här kan vi först se att regressionskoefficienten för arbetstid är −0,03, vilket innebär att varje ytterligare arbetstimme per vecka enligt modellen är förknippad med ett genomsnittligt betyg som är 0,03 enheter lägre.
Om en student arbetar tio timmar mer per vecka än en annan student förutsäger modellen alltså en skillnad på 0,3 betygsenheter, under förutsättning att ett sådant linjärt samband är rimligt för de studerade värdena.
Därefter undersöker vi p-värdet, som är 0,018.
Eftersom 0,018 är lägre än 0,05 är sambandet statistiskt signifikant på femprocentsnivån, vilket innebär att analysen ger stöd för ett negativt samband mellan arbetstid och betyg.
Däremot kan vi inte dra slutsatsen att arbete vid sidan av studierna nödvändigtvis orsakar sämre betyg, eftersom studenter som arbetar mycket också kan skilja sig från andra studenter på flera sätt som vi inte har undersökt.
För att kunna diskutera resultatet på ett vetenskapligt korrekt sätt behöver vi därför skilja mellan det statistiska samband som modellen visar och de möjliga förklaringar som kan ligga bakom sambandet.
Vad innebär ett resultat som inte är statistiskt signifikant?
Många studenter blir besvikna när deras statistiska analys inte visar något signifikant resultat, särskilt om de från början har förväntat sig att hitta ett tydligt samband mellan sina variabler. Det är dock viktigt att komma ihåg att en vetenskaplig undersökning inte behöver resultera i statistiskt signifikanta samband för att vara meningsfull.
Föreställ dig exempelvis att du vill undersöka om det finns ett samband mellan hur mycket tid universitetsstudenter lägger på sociala medier och deras studieresultat. Du genomför en regressionsanalys och får en negativ regressionskoefficient, vilket innebär att studenter som använder sociala medier mer också tenderar att ha något lägre betyg i ditt datamaterial.
Dock visar analysen ett p-värde på 0,23. Eftersom detta värde är högre än 0,05 kan du inte förkasta nollhypotesen på femprocentsnivån, och resultatet betraktas därför inte som statistiskt signifikant.
Det betyder att du inte har tillräckligt starka statistiska belägg för att dra slutsatsen att det finns ett samband i populationen, utifrån den aktuella analysen.
Däremot betyder det inte att du har bevisat att det saknas ett samband.
Det kan exempelvis vara så att sambandet faktiskt är mycket svagt, att undersökningen omfattar för få deltagare eller att det finns stor variation i studenternas studieresultat som modellen inte lyckas fånga upp.
I din uppsats kan det därför vara relevant att diskutera både det observerade sambandet och de metodologiska begränsningar som kan ha påverkat resultatet.
Vad är skillnaden mellan statistisk signifikans och praktisk betydelse?
En viktig sak att förstå är att ett statistiskt signifikant resultat inte nödvändigtvis innebär att resultatet har någon större praktisk betydelse.
Vi kan exempelvis föreställa oss en studie som undersöker om en viss studieteknik kan förbättra studenters tentamensresultat.
Forskarna samlar in data från flera tusen studenter och upptäcker att de som använder studietekniken i genomsnitt får 0,5 poäng högre resultat på en tentamen med maximalt 100 poäng.
Eftersom studien omfattar så många deltagare kan denna lilla skillnad ändå bli statistiskt signifikant, exempelvis med ett p-värde på 0,001.
Resultatet ger då starka statistiska belägg mot nollhypotesen om ingen skillnad, men förbättringen på en halv poäng är kanske inte särskilt betydelsefull i praktiken.
Omvänt kan en mindre studie visa en relativt stor skillnad mellan två grupper utan att resultatet blir statistiskt signifikant, eftersom antalet deltagare är för litet för att man ska kunna uppskatta skillnaden med tillräcklig precision.
Därför är det viktigt att inte enbart redovisa p-värden, utan även undersöka effektstorlek, vilket är ett mått på hur stor den observerade skillnaden eller det observerade sambandet faktiskt är.
När du tolkar statistiska resultat i en uppsats bör du alltså försöka besvara två olika frågor: Finns det tillräckligt starka statistiska belägg för ett samband eller en skillnad, och är sambandet eller skillnaden tillräckligt stor för att vara relevant i det sammanhang som studeras?
Hur påverkar urvalets storlek den statistiska signifikansen?
Antalet observationer eller deltagare i en studie har stor betydelse för möjligheten att upptäcka statistiskt signifikanta samband.
Om du genomför en enkätundersökning med endast 20 deltagare kan det vara svårt att avgöra om en observerad skillnad mellan två grupper återspeglar ett verkligt mönster eller om den främst beror på slumpmässig variation i urvalet.
Om du däremot undersöker 2 000 deltagare kan du ofta uppskatta skillnader och samband med större precision, förutsatt att datamaterialet och analysmetoden är lämpliga.
Detta innebär att större studier generellt har bättre förutsättningar att upptäcka även relativt små samband, medan mindre studier kan ha svårt att identifiera samband som faktiskt finns.
I statistiken används begreppet statistisk styrka, eller statistical power, för att beskriva sannolikheten att ett test upptäcker en verklig effekt av en viss storlek.
När du planerar en kvantitativ studie är det därför klokt att fundera över hur många observationer du behöver och om ditt datamaterial är tillräckligt omfattande för att besvara forskningsfrågorna.
Det är dock inte så enkelt som att ett större urval alltid ger en bättre studie, eftersom resultatens tillförlitlighet också påverkas av hur deltagarna har valts ut, hur variablerna mäts och om de statistiska metoderna passar för datamaterialet.
Vad är skillnaden mellan p-värde och konfidensintervall?
När man redovisar statistiska resultat förekommer p-värden ofta tillsammans med konfidensintervall, och dessa två mått kan hjälpa oss att förstå resultatet ur olika perspektiv.
Medan p-värdet används för att bedöma hur förenligt resultatet är med nollhypotesen, visar ett konfidensintervall ett intervall av värden som är förenliga med datamaterialet enligt den statistiska metoden.
Vi kan exempelvis föreställa oss att en studie visar att en ny undervisningsmetod är förknippad med en genomsnittlig förbättring på fyra tentamenspoäng jämfört med en traditionell metod.
Forskarna beräknar ett 95-procentigt konfidensintervall som sträcker sig från 1 till 7 poäng.
Det innebär att de utifrån sin statistiska analys har uppskattat en förbättring på fyra poäng, men att det finns en viss osäkerhet kring hur stor den verkliga genomsnittliga skillnaden kan vara.
Eftersom hela konfidensintervallet ligger över noll skulle detta också motsvara ett statistiskt signifikant resultat på femprocentsnivån vid ett vanligt tvåsidigt test av samma parameter.
Om konfidensintervallet däremot hade sträckt sig från −2 till 10 poäng skulle intervallet även innehålla möjligheten att det inte finns någon genomsnittlig skillnad alls, vilket innebär att resultatet inte skulle vara statistiskt signifikant på samma nivå.
Konfidensintervall kan därför vara särskilt användbara när du vill diskutera både resultatets storlek och den statistiska osäkerheten i dina skattningar.
Vanliga misstag när man tolkar p-värden
Ett av de vanligaste misstagen är att tolka p-värdet som sannolikheten för att forskarens hypotes är sann eller falsk.
Om en regressionsanalys exempelvis ger ett p-värde på 0,03 innebär det inte att det finns 97 procents sannolikhet att den alternativa hypotesen är korrekt. P-värdet beräknas under antagandet att nollhypotesen är sann och ger inte i sig någon direkt sannolikhet för vilken av hypoteserna som är riktig.
Ett annat vanligt misstag är att skriva att man har accepterat nollhypotesen när resultatet inte är statistiskt signifikant. Det är vanligtvis mer korrekt att skriva att man inte kan förkasta nollhypotesen, eftersom det kan finnas ett samband som undersökningen inte har lyckats identifiera.
Studenter blandar också ibland ihop statistisk signifikans med hur starkt ett samband är. Ett mycket litet samband kan vara statistiskt signifikant i en stor studie, medan ett större samband kan vara osäkert i ett litet datamaterial.
Slutligen bör man vara försiktig med att genomföra ett stort antal statistiska tester och sedan enbart lyfta fram de resultat som råkar vara signifikanta. Om man testar tillräckligt många samband ökar risken att vissa resultat framstår som statistiskt signifikanta enbart på grund av slumpmässig variation.
Det är därför viktigt att utgå från tydliga forskningsfrågor och hypoteser samt att vara öppen med vilka statistiska analyser som har genomförts.
Hur skriver man om statistisk signifikans i en uppsats?
När du redovisar resultaten från en kvantitativ studie behöver du förklara vad de statistiska analyserna visar och hur resultaten förhåller sig till studiens syfte och frågeställningar.
Om du exempelvis har genomfört en regressionsanalys för att undersöka sambandet mellan studietid och tentamensresultat, kan du beskriva ett hypotetiskt signifikant resultat på följande sätt:
Regressionsanalysen visade ett positivt och statistiskt signifikant samband mellan studietid och tentamensresultat (β = 2,5, p = 0,012). Resultatet innebär att varje ytterligare timmes studier per vecka var förknippad med ett i genomsnitt 2,5 poäng högre tentamensresultat. Sambandet var statistiskt signifikant på femprocentsnivån, vilket innebär att nollhypotesen om att regressionskoefficienten är noll kunde förkastas.
I detta exempel betecknar β den skattade regressionskoefficienten. Om andra variabler ingår i modellen behöver du också förklara att koefficienten avser sambandet när dessa hålls konstanta.
Om resultatet däremot inte är statistiskt signifikant skulle du exempelvis kunna skriva:
Regressionsanalysen visade ett svagt negativt samband mellan arbetstid och tentamensresultat, men sambandet var inte statistiskt signifikant på femprocentsnivån (p = 0,184). Resultatet ger därmed inte tillräckligt starka statistiska belägg för att förkasta nollhypotesen om att det saknas ett linjärt samband mellan variablerna i den undersökta populationen.
Det viktigaste är att du inte bara redovisar siffrorna, utan också förklarar vad de betyder i relation till just den forskningsfråga som du försöker besvara.
Vanliga frågor om statistisk signifikans och p-värden
Vad betyder p < 0,05?
Det betyder att p-värdet är lägre än 0,05 och att resultatet därför betraktas som statistiskt signifikant på femprocentsnivån. Nollhypotesen kan då förkastas enligt den valda beslutsregeln, under förutsättning att det statistiska testet och dess antaganden är lämpliga.
Vad betyder p < 0,001?
Det betyder att p-värdet är mindre än 0,001, vilket innebär att ett resultat som är minst lika extremt som det observerade skulle vara mycket ovanligt om nollhypotesen vore sann. I vissa statistikprogram visas detta som p = 0,000 efter avrundning, men i en vetenskaplig text bör du normalt skriva p < 0,001 eftersom ett p-värde inte ska rapporteras som exakt noll.
Är p = 0,06 statistiskt signifikant?
Nej, inte om du använder den vanliga signifikansnivån 0,05, eftersom 0,06 är större än 0,05. Däremot är skillnaden mellan p = 0,05 och p = 0,06 mycket liten, vilket innebär att resultaten bör tolkas med hänsyn till sammanhanget och inte enbart utifrån en strikt gräns.
Kan ett resultat vara viktigt även om det inte är statistiskt signifikant?
Ja, absolut. Ett resultat kan ha stor teoretisk eller praktisk betydelse även om undersökningen inte har gett tillräckligt starka statistiska belägg för sambandet. Detta är särskilt relevant i mindre studier, där osäkerheten kring de skattade resultaten kan vara relativt stor.
Hur får man fram ett p-värde i SPSS?
I SPSS beräknas p-värden automatiskt när du genomför olika statistiska tester, exempelvis t-test, korrelationsanalys, ANOVA och regressionsanalys. Resultatet visas ofta i en kolumn som heter Sig. eller Significance, där du kan se om p-värdet ligger över eller under den signifikansnivå som du har valt.
Är p-värde och statistisk signifikans samma sak?
Nej, även om begreppen hänger nära samman. P-värdet är ett mått som beräknas vid statistisk hypotesprövning, medan statistisk signifikans är en bedömning av resultatet utifrån en förutbestämd signifikansnivå. Ett p-värde på 0,03 är exempelvis statistiskt signifikant om signifikansnivån är 0,05, men inte om den är 0,01.
Sammanfattning – hur ska man förstå statistisk signifikans?
Statistisk signifikans är ett centralt begrepp inom kvantitativ forskning och används för att bedöma om ett observerat samband eller en skillnad ger tillräckligt starka statistiska belägg för att förkasta en nollhypotes. P-värdet hjälper oss att göra denna bedömning genom att visa hur ovanligt det observerade resultatet skulle vara om nollhypotesen vore sann.
När du tolkar p-värden i en uppsats är det framför allt viktigt att förstå att statistisk signifikans inte är samma sak som praktisk betydelse och att ett icke-signifikant resultat inte automatiskt innebär att det saknas ett samband.
Genom att kombinera p-värden med exempelvis regressionskoefficienter, effektstorlekar och konfidensintervall kan du ge en mer nyanserad bild av dina resultat och förklara vad den statistiska analysen faktiskt visar.
Behöver du hjälp med p-värden, statistisk signifikans eller kvantitativ metod?
Skriver du en kandidatuppsats, masteruppsats eller ett examensarbete där du behöver genomföra en statistisk analys, tolka p-värden eller förstå resultaten från exempelvis SPSS, Stata eller R?
Hos AkademiskHjälp erbjuder vi personlig vägledning inom kvantitativ metod, regressionsanalys, statistisk hypotesprövning och akademiskt skrivande. Vi kan hjälpa dig att förstå vilka statistiska metoder som passar din undersökning, hur du ska tolka resultaten och hur du kan presentera dem på ett tydligt och vetenskapligt sätt.
Skicka gärna ett mejl till boka@akademiskhjalp.online och berätta vad du arbetar med, så återkommer vi med information om hur vi kan hjälpa dig.
Hi, this is a comment.
To get started with moderating, editing, and deleting comments, please visit the Comments screen in the dashboard.
Commenter avatars come from Gravatar.