Po završetku igračke karijere, Ivica Osim kreće u trenerske vode.
FK Željezničar 1978-1986.
Prvi tim koji je vodio sa klupe bio je, naravno, sarajevski FK Željezničar, koji je trenirao od 1978. do 1986. godine.
U finalu Kupa maršala Tita (Kup Jugoslavije), koji je igran 24. maja 1981. godine na stadionu Crvene zvezde, izgubili su od mostarskog Veleža rezultatom 3:2 koji je tada sa klupe vodio istaknuti srbijanski trener Miloš Milutinović (1933-2003), stariji brat daleko poznatijeg Bore Milutinovića. Putevi Osima i Mulutinovića starijeg su se još dva puta prepleli. Švabo ga je naslijedio na klupi Jugoslavije kao selektor, a kasnije i kao trener prve ekipe FK Partizan.
Najbolji plasman u prvenstvu Jugoslavije ostvario je u sezoni 1983/84, kada je Željo zauzeo treće mjesto na tabeli sa 42 osvojena boda (isto kao i drugoplasirani Partizan), odnosno dva boda manje iza tadašnjeg šampiona beogradske Crvene zvezde. Tako je Željo izborio nastup u tadašnjem Kupu UEFA.
Kao najveći Osimov uspjeh u sarajevskom klubu zasigurno je polufinale Kupa UEFA, igrano 1985. godine protiv mađarskog FK Videotona. U prvoj utakmici Željo je u gostima poražen rezultatom 3:1. U uzvratnom meču koji se igrao 24. aprila na prepunoj Grbavici, sarajevski plavi su sve do finiša utakmice vodili rezultatom 2:0 golovima Bahtića i Ćurića. Taj rezultat ih je vodio u finale. Međutim, u 87. minutu meča nekadašnji reprezentativac Mađarske i učesnik dva svjetska prvenstva (1982, 1986) József Csuhay postiže gol za konačnih 2:1. Tako je Videoton, mora se priznati uz dosta sreće, prošao u finale, gdje je igrao sa madridskim Realom, koji je na kraju i trijumfovao u ovom takmičenju ukupnim rezultatom 3:1 iz dva meča.
Utakmica između Željezničara i Videotona postala je legendarna, o njoj se i danas još prepričava, ne samo u Sarajevu i u Bosni i Hercegovini nego i na tlu cijele bivše Jugoslavije. Sam kraj utakmice bio je jedan od najtežih sportskih trenutaka u historiji FK Željezničar, ali isto tako i u trenerskoj karijeri Ivice Osima. Posebno je ostala upečatljiva scena koju je zabilježila kamera TV Sarajevo kada se Švabo u nevjerici hvata za glavu nakon primljenog gola.
Reprezentacija Jugoslavije 1986-1992.
Početkom 1986. godine postaje selektor reprezentacije Jugoslavije, te ujedno i prvi trener iz Bosne i Hercegovine koji je vodio nacionalni fudbalski tim. Debitovao je 29. oktobra 1986. godine u Splitu protiv reprezentacije Turske, pobjedom od 4:0 u okviru kvalifikacija za odlazak na Evropsko prvenstvo u Zapadnoj Njemačkoj.
Sa reprezentacijom Jugoslavije kao Savezni selektor izborio je nastupe na FIFA Svjetskom prvenstvu 1990. u Italiji i dvije godine kasnije, na UEFA Evropskom prvenstvu u Švedskoj 1992. godine.
U četvrfinalnom meču Svjetskog prvenstva u Italiji protiv Maradonine Argentine Osimova Jugoslavija nesretno je izgubila na penale rezultatom 3:2. Plavi su osvojili visoko peto mjesto, te je to bio jedan od najvećih uspjeha jugoslovenskog nacionalnog tima. To je, ujedno, i posljednji nastup bivše države na najprestižnijoj fudbalskoj smotri, dok je Ivica Osim posljednji jugoslovenski selektor. Sjedeći na klupi plavih, Osim je zabilježio najveći broj utakmica kao samostalni selektor nacionalnog tima, ukupno njih 51. Također, Švabo je i najuspješniji trener bivše države sa najviše pobjeda, tačno 27. Od 30. 4. do 19. 5. 1986. godine Osim je u tandemu sa Ivanom Toplakom, kao privremeni stručni štab, zabilježio još tri utakmice na klupi Jugoslavije.
Na Ljetnim olimpijskim igrama Štraus sa Grbavice je učestvovao još dva puta, tačnije 1984. i 1988. godine. Kao pomoćnik tadašnjem selektoru Olimpijske reprezentacije Ivanu Toplaku, Jugoslavija je u Los Anđelesu osvojila bronzanu medalju. Na Olimpijskim igrama u Seulu 1988. godine, Osim je samostalno vodio reprezentaciju kao selektor, a Jugoslavija je tada zauzela deseto mjesto od ukupno šesnaest selekcija.
FK Partizan 1991-1992.
Od 1991. do 1992. godine Osim je uz Jugoslaviju paralelno vodio i beogradski FK Partizan s kojim je 1992. godine osvojio Kup Jugoslavije. Tada su se u finalu sastali sa Crvenom zvezdom koja je prethodne godine u Bariju bila osvajač tadašnjeg Kupa Evropskih šampiona. Partizan je u polufinalu eliminisao bivši Osimov klub, sarajevski Željezničar.
U prvom meču koji je igran 14. maja 1992. godine na beogradskoj Marakani savladali su crveno-bijele rezultatom 1:0, a jedini gol na meču postigao je Vujačić. Sedam dana kasnije, 21. maja, u uzvratnom meču na stadionu Jugoslovenske narodne armije (JNA) timovi su odigrali neriješeno u jednom zaista uzbudljivom meču u kojem je Crvena zvezda oba puta vodila. Krajnji ishod utakmice bio je 2:2.
Kup Jugoslavije ili Kup Maršala Tita sa Partizanom je ujedno i Švabin prvi trofej u njegovoj blistavoj trenerskoj karijeri. Treba naglasiti da je Osimov Partizan posljednji osvajač ovog trofeja u bivšoj Jugoslaviji. U nacionalnom prvenstvu, Partizan je te sezone završio na drugom mjestu, odmah iza Crvene zvezde koja je imala četiri boda više. Iako je Crvena zvezde nesumnjivo imala bolji tim, Švabin Partizan je u četiri međusobna meča izvukao tri remija i jednu pobjedu. Ekipa Crvene zvezde je tako posljednji šampion bivše Jugoslavije koja je u konačnici imala pet poraza, dok ih je Partizan, kao drugoplasirani, imao samo dva. Partizan je te sezone sa Osimom bio i jesenji prvak, ali kasnije će se ispostaviti da to nije bilo dovoljno za titulu prvaka Jugoslavije.
Dva dana nakon osvajanja trofeja sa crno-bijelima, dakle, 23. maja 1992. godine, u prostorijama FS Jugoslavije, Ivica Osim podnosi neopozivu ostavku na mjesto selektora Jugoslavije zbog ratnih sukoba u Bosni i Hercegovini.
Nakon odlaska iz Beograda, Osim je u Fudbalskom klubu Partizan ostavio veliko naslijeđe. Sugerisao je da ga na klupi treba zamijeniti Ljubiša Tumbaković, tada trener omladinske škole. Već naredne godine, Partizan je uvjerljivo osvojio titulu prvaka države, a postignuti su i brojni rekordi. Tumbaković je danas najtrofejniji trener ovog kluba, a trenirao ga je u dva mandata.
Također, zahvaljujući Osimovoj inicijativi i viziji, napravljen je i čuveni sportski trening-centar Teleoptik – Partizan, poznat kao Zemunelo. Rađen je po uzoru na kamp fudbalskog kluba A. C. Milan, a nalazi se u dijelu Beograda, poznatom Zemunu. Proteže se na oko 100.000 kvadratnih metara, dok u njemu treniraju sve selekcije ovog istaknutog beogradskog kluba koji je u svijetu nadaleko poznat po svojoj omladinskoj školi.
Panathinaikos F. C. 1992-1994.
Nakon Partizana i selekcije Jugoslavije preuzima klupu grčkog Panathinaikosa. U glavnom gradu Grčke provodi dvije godine, te osvaja grčki kup (1992/93) i Super kup (1993). U svojoj prvoj sezoni prvenstva Grčke, Alpha Ethniki 1992/93, Osimov Panathinaikos je završio na drugom mjestu, sa bodom zaostatka za vodećim AEK-om koji je tada sa klupe veoma uspješno vodio Mostarac Dušan Bajević. I naredne sezone AEK je osvojio titulu, dok je Panathinaikos opet bio drugi. Inače, Bajević je Osimu bio pomoćnik na klupi reprezentacije Jugoslavije u ciklusu kvalifikacija za odlazak na Evropsko prvenstvo 1988. godine, da bi mnogo godina kasnije sarađivali u N/FSBiH.
I danas se sva sportska struka, odnosno bivši igrači i treneri, medijski predstavnici koji su pratili klub, te navijači Panathinaikosa slažu da su za dvije godine boravka Ivice Osima u ovom grčkom gigantu udareni temelji za buduće sezone. Oslikavaju se, naravno, pobjedničkim kupovima, dvostrukim naslovom prvaka države (1994/95, 1995/96), te ulaskom u polufinale UEFA Lige prvaka za sezonu 1995/96.
SK Sturm Graz 1994/2002.
Ono što je posebno interesantno jeste da je prvog maja 1909. godine osnovan SK Sturm Graz, istog dana kada je i Osim preminuo u ovom austrijskom gradu. U Sturmu je doživio neke od najvećih i najblistavijih uspjeha u svojoj karijeri. Klub je preuzeo u ljeto 1994. godine na nagovor menadžera kluba Heinz Schilchera, sa kojim je igrao u francuskom RC Strasbourgu.
Sa ekipom SK Sturma Osim je osvojio dva prvenstva Austrije (1997-98, 1998-99), tri austrijska kupa (1995-96, 1996-97, 1998-99), te tri Super kupa (1996, 1998, 1999). Također, SK Sturm Graz je tri godine zaredom (1998-2001) solidno nastupao u UEFA-inoj Ligi prvaka. To su Sturmova jedina učešća u ovom elitnom fudbalskom takmičenju. Do 2022. godine SK Sturm je bio jedini austrijski klub koji je prošao grupnu fazu Lige prvaka, te je igrao među preostalih 16 najboljih ekipa. Red Bull Salzburg je ponovio to dostignuće u sezoni 2021/22, više od dvije decenije nakon ekipe SK Sturm koju je tada predvodio Osim.
Štraus sa Grbavice je četiri puta (1995, 1998, 1999, 2000) bio trener godine u Austriji, izabran od Kronen Zeitung, novine koja tradicionalno nagrađuje najbolje timove, fudbalere i trenere. Kronen Zeitung je osnovan davne 1900. godine, a sjedište redakcije se nalazi u glavnom gradu Austrije, Beču.
Kada je Graz 2003. godine bio evropska prijestolnica kulture, nekoliko kilometara prije ulaska u sami grad, tom istom dužinom, bili su okačeni veliki baneri sa likom Ivice Osima kao dobrodošlica u kulturni i umjetnički centar Evrope.
Popularni Švabo je u januaru 2009. godine na klupskoj proslavi povodom stogodišnjice postojanja SK Sturm Graz proglašen trenerom stoljeća. Početkom 2019. na proslavi 110. godišnjice, proglašen je i za najznačajniju ličnost kluba u njegovoj historiji. Tada dobija nagradu Longin, priznanje koje se dodjeljuje u čast osnivača ovog kluba – Fritz Longina.
