Korelacija je odnos između različitih pojava predstavljen vrijednostima dvije ili više slučajnih varijabli. U ovom slučaju, korelacija znači da je na osnovu poznavanja vrijednosti jedne varijable, sa određenom vjerovatnoćom, moguće predvidjeti vrijednost druge varijable, budući da se te vrijednosti pojavljuju u određenom odnosu. Stepen u kojem su dvije vrijednosti konzistentne može se grafički predstaviti dijagramom raspršenja ili pomoću koeficijenta korelacije. Važno je naglasiti da korelacija ukazuje isključivo na povezanost kretanja varijabli, ali ne dokazuje uzročno-posljedičnu vezu između posmatranih pojava.

Regresijska analiza je proširenje korelacijske analize i jedna je od najčešće korištenih statističkih tehnika danas. Regresijska analiza je skup analitičkih tehnika koje se koriste za bolje razumijevanje međusobnih odnosa između posmatranih pojava, izraženih u obliku prikupljenih podataka. Kao konačni rezultat, analiza daje regresijsku jednačinu, ali svi rezultati dobijeni u procesu mogu pružiti vrijedne informacije o posmatranim pojavama i njihovom okruženju.

U svojoj suštini, regresijska analiza uključuje dvije ili više varijabli koje su na neki način povezane jedna s drugom. Jedna od varijabli je od posebnog interesa jer je svrha analize objasniti promjene u njoj kroz promjene koje se istovremeno dešavaju u drugim varijablama u modelu. Ova varijabla se naziva zavisna ili kriterijalna varijabla i označava se sa Y. Ostale varijable služe za objašnjenje ili predviđanje vrijednosti zavisne varijable. Ove varijable se nazivaju nezavisne ili prediktorske varijable i označavaju se sa X. Tipično, model koristi više nezavisnih varijabli, pa se označavaju sa X1, X2, ... Xn, gdje n označava ukupan broj nezavisnih varijabli u regresijskom modelu. Prediktorske varijable se takođe nazivaju nezavisne, kovarijable, regresori, faktori ili nosači. Iako se najčešće koristi, naziv nezavisna varijabla najmanje predstavlja stvarnost, jer su ove varijable rijetko nezavisne jedna od druge.

Odnos između zavisne i nezavisne varijable izražava se u obliku jedne ili više jednačina, koje se zajednički nazivaju regresijski model. Stvarni odnos između zavisnih i nezavisnih varijabli može se aproksimirati sljedećim regresijskim modelom:

Y = f(X1, X2, ..., Xn) + ε,

gdje je ε je slučajna greška koja predstavlja razliku između aproksimacije i stvarne vrijednosti zavisne varijable Y, a funkcija f opisuje odnos između zavisne i nezavisne varijable.

Regresijski modeli se mogu podijeliti prema nekoliko kriterija. U nastavku navodimo neke od podjela.

Prema broju nezavisnih varijabli u regresijskom modelu, postoji

  • jednostavna regresija, gdje postoji jedna zavisna i jedna nezavisna varijabla i

  • višestruka regresija, gdje postoji jedna zavisna, ali više nezavisnih varijabli.

Prema vrsti zavisne varijable, regresijski modeli se mogu podijeliti na:

  • modele sa kontinuiranom zavisnom varijablom,

  • modele sa kategorijalnom zavisnom varijablom koja nije dihotomna, već uzima više od dvije vrijednosti (kategorije) i

  • modele sa dihotomnom zavisnom varijablom koja predstavlja poseban slučaj modela sa kategoričkom zavisnom varijablom, jer zavisna varijabla može uzeti samo dvije vrijednosti.

Prema vrsti veze između zavisne i nezavisnih varijabli, regresija može biti:

  • linearna regresija, koju karakteriše to što je model linearan po svojim parametrima (koeficijentima), što se najčešće izražava kao vagani zbir prediktora, i

  • nelinearna regresija, koja može biti:

    • kvadratna regresija,

    • polinomna regresija,

    • eksponencijalna regresija, itd.

Prema broju zavisnih varijabli, regresijski model može biti

  • univarijantni regresijski model, tj. model s jednom zavisnom varijablom i

  • multivarijantni regresijski model u kojem se pojavljuje više zavisnih varijabli, zbog čega se sastoji od višestrukih regresijskih jednačina.

Osim što omogućava procjenu stepena korelacije pojava, regresijska analiza također pruža vjerovatnoću pojave izračunate korelacije. Koristi se za testiranje hipoteza u studijama i eksperimentima, ali i za predviđanje budućeg kretanja posmatrane pojave.

Koncept regresije je lako razumjeti i implementiran je u gotovo svakom statističkom paketu, a omogućava ispitivanje funkcionalne zavisnosti između varijabli i kao takav leži u osnovi mnogih modernih statističkih tehnika. Stoga se primjena korelacijske i regresijske analize danas može naći u gotovo svim akademskim oblastima ili primijenjenim naukama. Evo samo nekoliko primjera za ilustraciju:

  • Ekonomija - predviđanje potrošnje, predviđanje kretanja cijena dionica itd.,

  • Psihologija - uticaj inteligencije na postignuća pojedinca, uticaj odgoja i kulturnih vrijednosti pojedinca na njegov osjećaj sreće itd.,

  • Poljoprivreda - kako predvidjeti količinu proizvodnje mlijeka na osnovu poznavanja skupa drugih podataka,

  • Historija - kako procijeniti starost objekta na osnovu drugih poznatih karakteristika objekta,

  • Politika - predviđanje kretanja stanovništva na osnovu poznavanja spola, vremenskih uvjeta i stope nezaposlenosti u regiji,

  • Okoliš - veza između kvalitete vode i korišćenja zemljišta, tj. da li povećano korišćenje zemljišta dovodi do zagađenja vodotoka, itd.