Metode ansambla - Pregled, kategorije, glavne vrste

Metode ansambla su tehnike kojima je cilj poboljšati točnost rezultata u modelima kombiniranjem više modela umjesto korištenja jednog modela. Kombinirani modeli značajno povećavaju točnost rezultata. To je povećalo popularnost ansambl metoda u strojnom učenju.

Metode ansambla

Brzi sažetak

  • Metode ansambla imaju za cilj poboljšanje predvidljivosti u modelima kombiniranjem nekoliko modela kako bi se dobio jedan vrlo pouzdan model.
  • Najpopularnije metode ansambla su pojačavanje, stavljanje u vreće i slaganje.
  • Metode ansambla idealne su za regresiju i klasifikaciju, gdje smanjuju pristranost i varijance kako bi se povećala točnost modela.

Kategorije ansambl metoda

Ansambl metode spadaju u dvije široke kategorije, tj. Sekvencijalne ansambl tehnike i tehnike paralelnog ansambla. Tehnike sekvencijalnog ansambla generiraju osnovne učenike u nizu, npr. Adaptive Boosting (AdaBoost). Sekvencijalno generiranje osnovnih učenika promiče ovisnost između osnovnih učenika. Izvedba modela tada se poboljšava dodjeljivanjem većih pondera prethodno pogrešno predstavljenim učenicima.

U paralelnim ansambl tehnikama , osnovni se učenici generiraju u paralelnom formatu, npr. Slučajna šuma Slučajna šuma Slučajna šuma je tehnika koja se koristi za modeliranje predviđanja i analize ponašanja i gradi se na stablima odluka. Slučajna šuma sadrži mnoštvo stabala odlučivanja. Paralelne metode koriste paralelno generiranje osnovnih učenika kako bi potaknule neovisnost osnovnih učenika. Neovisnost osnovnih učenika značajno smanjuje pogrešku zbog primjene prosjeka.

Većina ansambl tehnika primjenjuje jedan algoritam u osnovnom učenju, što rezultira homogenošću kod svih osnovnih učenika. Homogeni osnovni polaznici odnose se na polaznike istog tipa, sa sličnim kvalitetama. Druge metode primjenjuju heterogene osnovne učenike koji stvaraju heterogene cjeline. Učenici heterogene baze su učenici različitih vrsta.

Glavne vrste ansambl metoda

1. Torbarenje

Vrećarenje, kratki oblik za agregiranje bootstrapa, uglavnom se primjenjuje u klasifikaciji i regresijskoj analizi regresije Regresijska analiza skup je statističkih metoda korištenih za procjenu odnosa između ovisne varijable i jedne ili više neovisnih varijabli. Može se koristiti za procjenu snage odnosa između varijabli i za modeliranje budućeg odnosa između njih. . Povećava točnost modela korištenjem stabala odlučivanja, što u velikoj mjeri smanjuje varijance. Smanjenje varijance povećava točnost, a time i uklanjanje prekomjerne prilagodbe, što je izazov mnogim prediktivnim modelima.

Vreće se klasificira u dvije vrste, tj. Bootstrapping i agregacija. Bootstrapping je tehnika uzorkovanja gdje se uzorci izvode iz cijele populacije (skupa) pomoću postupka zamjene. Uzorkovanje zamjenskom metodom pomaže u odabiru postupka odabira. Osnovni algoritam učenja izvodi se na uzorcima kako bi se dovršio postupak.

Agregiranje u vrećama vrši se radi uključivanja svih mogućih ishoda predviđanja i slučajnog ishoda. Bez agregiranja predviđanja neće biti točna, jer se svi ishodi ne uzimaju u obzir. Stoga se agregiranje temelji na postupcima za pokretanje vjerojatnosti ili na temelju svih ishoda prediktivnih modela.

Polaganje vreće je povoljno jer se učenici slabe baze kombiniraju u jednog jakog učenika koji je stabilniji od učenika koji ne uče. Također eliminira bilo kakve razlike, a time smanjuje prekomjerno opremanje modela. Jedno ograničenje vreće je da je računski skupo. Dakle, to može dovesti do veće pristranosti u modelima kada se zanemari odgovarajući postupak vrećanja.

2. Pojačavanje

Pojačavanje je ansambl tehnika koja uči na prethodnim greškama prediktora radi boljeg predviđanja u budućnosti. Tehnika kombinira nekoliko učenika slabe baze kako bi formirala jednog jakog učenika, čime se značajno poboljšava predvidljivost modela. Poticanje djeluje slaganjem slabih učenika u niz, tako da slabi učenici uče od sljedećeg učenika u nizu kako bi stvorili bolje prediktivne modele.

Pojačanje ima mnogo oblika, što uključuje pojačavanje gradijenta, prilagodljivo pojačavanje (AdaBoost) i XGBoost (ekstremno pojačavanje gradijenta). AdaBoost koristi slabe učenike koji su u obliku stabala odlučivanja, koja uglavnom uključuju jedan rascjep koji je u narodu poznat kao panjevi odluke. Glavno panje AdaBoosta sastoji se od promatranja koja nose slične težine.

Gradient boosting Gradient Boosting Gradient Boosting je tehnika koja se koristi u stvaranju modela za predviđanje. Tehnika se uglavnom koristi u postupcima regresije i klasifikacije. sekvencijalno dodaje prediktore u ansambl, gdje prethodni prediktori korigiraju svoje nasljednike, povećavajući time točnost modela. Novi prediktori pogodni su za suzbijanje učinaka pogrešaka u prethodnim prediktorima. Gradijent spuštanja pomaže pojačavanju gradijenta u prepoznavanju problema u predviđanjima učenika i suzbijanju istih u skladu s tim.

XGBoost koristi stabla odlučivanja s pojačanim gradijentom, pružajući poboljšanu brzinu i performanse. U velikoj se mjeri oslanja na računsku brzinu i performanse ciljnog modela. Obuka modela trebala bi slijediti slijed, čineći usporenom primjenu strojeva s pojačanim nagibom.

3. slaganje

Slaganje, druga metoda cjeline, često se naziva složenom generalizacijom. Ova tehnika djeluje dopuštajući algoritmu treninga da sastavi nekoliko drugih sličnih predviđanja algoritma učenja. Slaganje je uspješno provedeno u regresiji, procjenama gustoće, učenju na daljinu i klasifikacijama. Također se može koristiti za mjerenje stope pogreške tijekom vreće.

Smanjenje varijance

Metode ansambla idealne su za smanjenje odstupanja u modelima, povećavajući pritom točnost predviđanja. Varijacija se eliminira kada se više modela kombinira kako bi se stvorilo jedno predviđanje koje se bira između svih ostalih mogućih predviđanja iz kombiniranih modela. Ansambl modela čin je kombiniranja različitih modela kako bi se osiguralo da rezultirajuće predviđanje bude najbolje moguće, na temelju razmatranja svih predviđanja.

Dodatni resursi

Finance je službeni davatelj usluga globalnog certificiranog bankarskog i kreditnog analitičara (CBCA) ™ CBCA ™ certificiranje Akreditacija certificiranog bankarskog i kreditnog analitičara (CBCA) ™ globalni je standard za kreditne analitičare koji pokriva financije, računovodstvo, kreditnu analizu, analizu novčanog toka , modeliranje saveza, otplata zajma i još mnogo toga. program certificiranja, osmišljen kako bi pomogao svima da postanu financijski analitičari svjetske klase. Kako biste nastavili napredovati u karijeri, dodatni resursi za financije u nastavku bit će vam korisni:

  • Elastična mreža Elastična mreža Elastična mreža linearno koristi kazne iz lasso i grebena tehnika za regulaciju regresijskih modela. Tehnika kombinira i lasso i
  • Overfitting Overfitting Overfitting je pojam koji se koristi u statistici koji se odnosi na pogrešku u modeliranju koja se javlja kada funkcija preusko odgovara određenom skupu podataka
  • Skalabilnost Skalabilnost Skalabilnost može pasti i u kontekstu financijske i poslovne strategije. U oba slučaja to znači sposobnost entiteta da izdrži pritisak od
  • Spoofing Spoofing Spoofing je ometajuća algoritamska praksa trgovanja koja uključuje davanje ponuda za kupnju ili ponudu za prodaju terminskih ugovora i poništavanje ponuda ili ponuda prije izvršenja posla. Praksa namjerava stvoriti lažnu sliku potražnje ili lažnog pesimizma na tržištu.