Korelacija je odnos između različitih pojava predstavljen vrijednostima dviju ili više slučajnih varijabli. U ovom slučaju, korelacija znači da je na temelju poznavanja vrijednosti jedne varijable, s određenom vjerojatnošću, moguće predvidjeti vrijednost druge varijable, budući da se te vrijednosti pojavljuju u određenom odnosu. Stupanj u kojem su dvije vrijednosti konzistentne može se grafički prikazati dijagramom raspršenja ili pomoću koeficijenta korelacije.

Regresijska analiza je proširenje korelacijske analize i jedna je od najčešće korištenih statističkih tehnika danas. Regresijska analiza je skup analitičkih tehnika koje se koriste za bolje razumijevanje međusobnih odnosa između promatranih pojava, izraženih u obliku prikupljenih podataka. Kao konačni rezultat, analiza daje regresijsku jednadžbu, ali svi rezultati dobiveni u procesu mogu pružiti vrijedne informacije o promatranim pojavama i njihovom okruženju.

U svojoj srži, regresijska analiza uključuje dvije ili više varijabli koje su nekako međusobno povezane. Jedna od varijabli je od posebnog interesa jer je svrha analize objasniti promjene u njoj kroz promjene koje se istovremeno događaju u drugim varijablama u modelu. Ova varijabla naziva se zavisna ili kriterijalna varijabla i označava se s Y. Ostale varijable služe za objašnjenje ili predviđanje vrijednosti zavisne varijable. Ove varijable nazivaju se neovisne ili prediktorske varijable i označavaju se s X. Model obično koristi više nezavisnih varijabli, pa se označavaju s X1, X2, ... Xn, gdje n označava ukupan broj nezavisnih varijabli u regresijskom modelu. Prediktorske varijable nazivaju se i neovisne, kovarijable, regresori, faktori ili nosači. Iako se najčešće koristi, naziv nezavisna varijabla najmanje predstavlja stvarnost, jer su te varijable rijetko neovisne jedna o drugoj.

Odnos između zavisne i neovisne varijable izražava se u obliku jedne ili više jednadžbi, koje se zajednički nazivaju regresijski model. Stvarni odnos između zavisne i nezavisne varijable može se aproksimirati sljedećim regresijskim modelom:

Y = f(X1, X2, ..., Xp) + ε,

gdje je ε je slučajna pogreška koja predstavlja razliku između aproksimacije i stvarne vrijednosti zavisne varijable Y, a funkcija f opisuje odnos između zavisne i nezavisne varijable.

Regresijski modeli mogu se podijeliti prema nekoliko kriterija. U nastavku navodimo neke od podjela.

Prema broju nezavisnih varijabli u regresijskom modelu, postoji

  • jednostavna regresija, gdje postoji jedna zavisna i jedna nezavisna varijabla i

  • višestruka regresija, gdje postoji jedna zavisna, ali više nezavisnih varijabli.

Prema vrsti zavisne varijable, regresijski modeli mogu se podijeliti na:

  • modele s kontinuiranom zavisnom varijablom,

  • modele s kategoričkom zavisnom varijablom koja nije dihotomna, već uzima više od dvije vrijednosti (kategorije) i

  • modele s dihotomnom zavisnom varijablom koja predstavlja poseban slučaj modela s kategoričkom zavisnom varijablom, jer zavisna varijabla može poprimiti samo dvije vrijednosti.

Prema vrsti odnosa između zavisne i nezavisne varijable, regresija može biti:

  • linearna regresija, koju karakterizira postojanje linearnog odnosa između nezavisnih varijabli i zavisne varijable, a koja se u modelu izražava kao zbroj nezavisnih varijabli prvog stupnja i

  • nelinearna regresija, koja može biti:

    • kvadratna regresija,

    • polinomna regresija,

    • eksponencijalna regresija, itd.

Prema broju zavisnih varijabli, regresijski model može biti

  • univarijatni regresijski model, tj. model s jednom zavisnom varijablom i

  • multivarijatni regresijski model u kojem se pojavljuje više zavisnih varijabli, zbog čega se sastoji od više regresijskih jednadžbi.

Osim što omogućuje procjenu stupnja korelacije pojava, regresijska analiza također pruža vjerojatnost pojave izračunate korelacije. Koristi se za testiranje hipoteza u studijama i eksperimentima, ali i za predviđanje budućeg kretanja promatrane pojave.

Koncept regresije lako je razumjeti i implementiran je u gotovo svakom statističkom paketu, a omogućuje ispitivanje funkcionalne ovisnosti između varijabli te kao takav leži u osnovi mnogih modernih statističkih tehnika. Stoga se primjena korelacijske i regresijske analize danas može naći u gotovo svim akademskim područjima ili primijenjenoj znanosti. Evo samo nekoliko primjera za ilustraciju:

  • Ekonomija - predviđanje potrošnje, predviđanje kretanja cijena dionica itd.,

  • Psihologija - utjecaj inteligencije na postignuća pojedinca, utjecaj odgoja i kulturnih vrijednosti pojedinca na njegov osjećaj sreće itd.,

  • Poljoprivreda - kako predvidjeti količinu proizvedenog mlijeka na temelju skupa drugih podataka,

  • Povijest - kako procijeniti starost objekta na temelju drugih poznatih karakteristika objekta,

  • Politika - predviđanje demografskih kretanja na temelju poznavanja spola, vremenskih uvjeta i stope nezaposlenosti u regiji,

  • Okoliš - veza između kvalitete vode i korištenja zemljišta, tj. dovodi li povećano korištenje zemljišta do onečišćenja vodotoka itd.