Nelinearna regresija
U statistici, nelinearna regresija je forma regresione analize u kojoj se eksperimentalni podaci modeluju funkcijom koja je nelinearna kombinacija parametara modela, i zavisi od jedne ili više nezavisnih promenljivih. Podaci su obrađeni metodom sukcesivnih aproksimacija.

Model 
Podaci se sastoje od nezavisnih promenljivih koje ne sadrže greške (eksplanatorne promenljive), x, i s njima povezanih eksperimentalnih zavisnih promenljivih (responsne promenljive), y. Svaka vrednost y se modeluje kao randomna promenljiva sa prosekom datim u obliku nelinearne funkcije f(x,β). Sistematske greške mogu da budu prisutne, ali je njihov tretman izvan opsega regresione analize. Ako nezavisne promenljive sadrže greške, mogu se koristiti modeli greški u promenljivama, koji su takođe izvan opsega ovog članka.

Na primer, Mihaelis-Mentenov model enzimske kinetike

se može napisati kao

gde je  parameter ,  je parameter  i [S] je nezavisna promenljiva, x. Funkcija je nelinearna, jer se ne može izraziti kao linearna kombinacija dve  vrednosti.

Drugi primeri nelinearnih funkcija su eksponencijalne funkcije, logaritamske funkcije, trigonometrijske funkcije, funkcije stepena, Gausove funkcije, i Lorencove krive. Neke funkcije, kao što su eksponencijalne ili logaritamske funkcije, mogu se transformisati tako da poprime linearni oblik. Na tako transformisanim funkcijama se može uz oprez primeniti standardna linearna regresija. Pogledajte ispod odeljak o linearizaciji za dodatne detalje.

U opštem slučaju, ne postoji iraz zatvorene forme za evaluaciju parametara, kao što je to slučaj kod linearne regresije. Obično se koriste numerički optimizacioni algoritmi za određivanje najpodesnijih parametara. Za razliku od linearne regresije, mogu da postoje mnogobrojni localni minimumi optimizovane funkcije, a isto tako je moguće da globalni minimum proizvodi bajasnu procenu. U praksi, se u pokušajima nalaženja globalnog minimuma sume kvadrata koriste procenjene vrednosti parameterara, u sprezi sa optimizacionim algoritmima.

Dodatni detalji o nelinearnom modelovanju podataka su dostupni u člancima o najmanjim kvadratima i nelinearnim najmanjim kvadratima.

Regresiona statistika 
Pretpostavka u osnovi ovog postupka je da se model može aproksimirati linearnom funkcijom.

gde je . Iz ovog sledi da su estimatori najmanjih kvadrata dati sa

Statistički parametri nelinearne regresija se izračunavaju i koriste poput njihovih linearno regresionih pandana, ali koristeći J umesto X u formulama. Linearna aproksimacija unosi bajas u statističke parametre. Zbog toga je više opreza potrebno nego pri tumačenju statističkih parametara izvedenih iz nelinearanog modela.

Obični i ponderisani najmanji kvadrati 

Obično se podrazumeva da je najbolja aproksimacija krivom da se minimizuje suma kvadratnih ostataka. To je pristup (običnih) najmanjih kvadrata (OLS). Međutim, u slučajevima gde zavisna promenljiva nema konstantnu varijansu, minimizuje se suma ponderisanih kvadratnih ostataka; pogledajte ponderisane najmanje kvadrate. Svaki ponder bi idealno trebalo da bude jednak recipročnoj vrednosti varijanse obzervacija, mada ponderi mogu da budu izvedeni koristeči algoritam iterativno ponderisanih najmanjih kvadrata.

Linearizacija

Transformacija 
Pojedini problemi nelinearne regresije se mogu preneti u linearni domen putem podesne transformacije formulacije modela.

Na primer, razmotrimo sledeći nelinearno regresioni problem

sa parameterima a i b, i sa članom multiplikativne greške U. Ako se logaritmuju obe strane, dobija se

gde je u = ln(U). Iz ovog sledi da je moguće proceniti nepoznate parametere pomoću linearne regresije ln(y) na x, što je proračun za koji nije neophodno koristiti iterativnu optimizaciju. Međutim, nelinearne transformacije se moraju koristiti uz oprez. Uticaj eksperimentalnih vrednosti će biti izmenjen, kao i struktura grešaka modela i interpretacija inferencijalnih rezultata. Ti efekti nisu uvek poženjni. S druge strane, u zavisnosti od toga šta je najveći izvor grešaka, nelinearna transformacija može da distribuira greške u normalnom maniru, tako da odluka da se primeni nelinearna transformacima mora biti bazirana razmatranju modela.

Za Mihaelis–Mentenovu kinetiku, linearna Lajnviver–Burkov dijagram

za 1/v vs 1/[S] je u širokoj upotrebi. Međutim njegova upotreba je nepoželjna, jer je veoma senzitivan na greške u podacima i ima jak bajas ka aproksimaciji podataka u specifičnom opsegu nezavisne promenljive, [S].

Za distribucije grešaka koji pripadaju eksponencijalnoj familiji može se koristiti link funkcija za transformaciju parametara u okviru generalizovnog linearnog modela.

Segmentacija 

Nezavisna ili eksplanatorna promenljiva (recimo X) može se podeliti u klase ili segmente i linearna regresija se može primeniti na segmente. Segmentirana regresija sa analizom intervala poverenja može da ukaže na činjenicu da se zavisna ili responsna promenljiva (recimo Y) različito ponaša na različitim segmentima.

Slika pokazuje da salinitet zemljišta (X) inicijalno nema uticaja na prinos useva (Y) semfa (repičinog ulja), dok kad se pređe kritični prag (prelomna tačka) salinitet ima negativan uticaj na prinos.

Vidi još 

 Nelinearni najmanji kvadrati
 Aproksimacija pomoću krive
 Generalizovani linearni model
 Lokalna regresija

Reference

Literatura 
 
 
 
 

Регресиона анализа
U statistici , nelinearna regresija je forma regresione analize u kojoj se eksperimentalni podaci modeluju funkcijom koja je nelinearna kombinacija parametara modela , i zavisi od jedne ili više nezavisnih promenljivih . Podaci su obrađeni metodom sukcesivnih aproksimacija . Model Podaci se sastoje od nezavisnih promenljivih koje ne sadrže greške ( eksplanatorne promenljive ) , x , i s njima povezanih eksperimentalnih zavisnih promenljivih ( responsne promenljive ) , y . Svaka vrednost y se modeluje kao randomna promenljiva sa prosekom datim u obliku nelinearne funkcije f( x,β ) . Sistematske greške mogu da budu prisutne , ali je njihov tretman izvan opsega regresione analize . Ako nezavisne promenljive sadrže greške , mogu se koristiti modeli greški u promenljivama , koji su takođe izvan opsega ovog članka . Na primer , Mihaelis-Mentenov model enzimske kinetike se može napisati kao gde je parameter , je parameter i [ S ] je nezavisna promenljiva , x. Funkcija je nelinearna , jer se ne može izraziti kao linearna kombinacija dve vrednosti . Drugi primeri nelinearnih funkcija su eksponencijalne funkcije , logaritamske funkcije , trigonometrijske funkcije , funkcije stepena , Gausove funkcije , i Lorencove krive . Neke funkcije , kao što su eksponencijalne ili logaritamske funkcije , mogu se transformisati tako da poprime linearni oblik . Na tako transformisanim funkcijama se može uz oprez primeniti standardna linearna regresija . Pogledajte ispod odeljak o linearizaciji za dodatne detalje . U opštem slučaju , ne postoji iraz zatvorene forme za evaluaciju parametara , kao što je to slučaj kod linearne regresije . Obično se koriste numerički optimizacioni algoritmi za određivanje najpodesnijih parametara . Za razliku od linearne regresije , mogu da postoje mnogobrojni localni minimumi optimizovane funkcije , a isto tako je moguće da globalni minimum proizvodi bajasnu procenu . U praksi , se u pokušajima nalaženja globalnog minimuma sume kvadrata koriste procenjene vrednosti parameterara , u sprezi sa optimizacionim algoritmima . Dodatni detalji o nelinearnom modelovanju podataka su dostupni u člancima o najmanjim kvadratima i nelinearnim najmanjim kvadratima . Regresiona statistika Pretpostavka u osnovi ovog postupka je da se model može aproksimirati linearnom funkcijom. gde je \ . Iz ovog sledi da su estimatori najmanjih kvadrata dati sa Statistički parametri nelinearne regresija se izračunavaju i koriste poput njihovih linearno regresionih pandana , ali koristeći J umesto X u formulama . Linearna aproksimacija unosi bajas u statističke parametre . Zbog toga je više opreza potrebno nego pri tumačenju statističkih parametara izvedenih iz nelinearanog modela . Obični i ponderisani najmanji kvadrati Obično se podrazumeva da je najbolja aproksimacija krivom da se minimizuje suma kvadratnih ostataka . To je pristup ( običnih ) najmanjih kvadrata ( OLS ) . Međutim , u slučajevima gde zavisna promenljiva nema konstantnu varijansu , minimizuje se suma ponderisanih kvadratnih ostataka ; pogledajte ponderisane najmanje kvadrate . Svaki ponder bi idealno trebalo da bude jednak recipročnoj vrednosti varijanse obzervacija , mada ponderi mogu da budu izvedeni koristeči algoritam iterativno ponderisanih najmanjih kvadrata . Linearizacija Transformacija Pojedini problemi nelinearne regresije se mogu preneti u linearni domen putem podesne transformacije formulacije modela . Na primer , razmotrimo sledeći nelinearno regresioni problem sa parameterima a i b , i sa članom multiplikativne greške U . Ako se logaritmuju obe strane , dobija se gde je u = ln( U ) . Iz ovog sledi da je moguće proceniti nepoznate parametere pomoću linearne regresije ln( y ) na x , što je proračun za koji nije neophodno koristiti iterativnu optimizaciju . Međutim , nelinearne transformacije se moraju koristiti uz oprez . Uticaj eksperimentalnih vrednosti će biti izmenjen , kao i struktura grešaka modela i interpretacija inferencijalnih rezultata . Ti efekti nisu uvek poženjni . S druge strane , u zavisnosti od toga šta je najveći izvor grešaka , nelinearna transformacija može da distribuira greške u normalnom maniru , tako da odluka da se primeni nelinearna transformacima mora biti bazirana razmatranju modela . Za Mihaelis–Mentenovu kinetiku , linearna Lajnviver–Burkov dijagram zav vs[ S ] je u širokoj upotrebi . Međutim njegova upotreba je nepoželjna , jer je veoma senzitivan na greške u podacima i ima jak bajas ka aproksimaciji podataka u specifičnom opsegu nezavisne promenljive , [ S ] . Za distribucije grešaka koji pripadaju eksponencijalnoj familiji može se koristiti link funkcija za transformaciju parametara u okviru generalizovnog linearnog modela . Segmentacija Nezavisna ili eksplanatorna promenljiva ( recimo X ) može se podeliti u klase ili segmente i linearna regresija se može primeniti na segmente . Segmentirana regresija sa analizom intervala poverenja može da ukaže na činjenicu da se zavisna ili responsna promenljiva ( recimo Y ) različito ponaša na različitim segmentima . Slika pokazuje da salinitet zemljišta ( X ) inicijalno nema uticaja na prinos useva ( Y ) semfa ( repičinog ulja ) , dok kad se pređe kritični prag ( prelomna tačka ) salinitet ima negativan uticaj na prinos . Vidi još Nelinearni najmanji kvadrati Aproksimacija pomoću krive Generalizovani linearni model Lokalna regresija Reference Literatura Регресиона анализа