Az MTK-ban kezdte a futballt, a Vasas 1941-ben igazolta le. Ezután egész pályafutása során az angyalföldi klub játékosa volt. Előbb jobb- majd balszélsőként szerepelt. Technikás, gyors futballistának tartották, aki néha azonban kissé öncélúan játszott. A válogatottban háromszor kapott lehetőséget, de mivel abban a korban minden posztra legalább két-három klasszisból választhatott a mindenkori kapitány, nem tudott állandó helyet kiharcolni magának.
Az edzősködés már játékoskorában foglalkoztatta. Az ötvenes években elvégezte a Testnevelési Főiskola segédedzői majd vezetőedzői szakát, és Baróti Lajos edzősége idején a Vasas utánpótláscsapataival foglalkozott. 1955-ben abbahagyta az aktív játékot, majd Baróti szövetségi kapitányi kinevezése után 1957-ben átvette a piros-kékek felnőtt csapatát. A keze alatt nőtt fel a Mészöly-Farkas-féle generáció, amellyel 1961-ben, 1962-ben és 1965-ben is bajnok lett.
Közben, 1963-tól Baróti Lajos maga mellé vette, mint a válogatott másodedzőjét. Részese volt tehát többek között az 1964-es Eb-bronznak is. A kontinensbajnokság kvalifikációs sorozatában Wales-t, az NDK-t és Franciaországot búcsúztattuk, majd az elődöntőben a házigazda spanyolokkal találkoztunk. 1-1-es rendes játékidő után hosszabbításra kényszerültünk, amelyben csak az ellenfél tudott gólt szerezni, így 2-1-re kikaptunk. A harmadik helyért vívott mérkőzésen szintén 1-1 volt az állás 90 perc után, Dánia ellen azonban már Novák duplázott, és 3-1-es győzelmünkkel miénk lett a bronzérem.
Az 1966-os világbajnokság selejtezőin Ausztriát és az NDK-t előztük meg a csoportunkban, az angliai tornán pedig Portugáliával, Brazíliával és Bulgáriával kerültünk egy kvartettbe. Első mérkőzésünkön Eusébioéktól 3-1-es vereséget szenvedtünk, a második találkozón azonban fantasztikus játékkal 3-1-re győztük le a címvédő brazil csapatot. A harmadik körben Bulgáriát szintén 3-1-re vertük, ezzel másodikként jutottunk tovább a csoportból. A negyeddöntőben a Szovjetunió volt az ellenfelünk, és sajnos 2-1-re kikaptunk, így búcsúztunk a világbajnokságtól.
A szövetségi kapitányi poszton Illovszky Rudolf váltotta Baróti Lajost. Tíz mérkőzése során az 1968-as Európa-bajnokságra vezető úton simán megnyertük a selejtezőcsoportunkat, ő mégis lemondott. Egyes történetek szerint azért, mert egy sportvezetőnek bántotta a fülét, hogy Rudi bácsi „suk-sükölt”, mások szerint azért, mert sikerei ellenére is arról pletykáltak, hogy Sós Károlyt kellene kinevezni kapitánynak. Végül Sóst ki is nevezték, de elbukott a Szovjetunió elleni Eb-pótselejtezőn és 1969-ben Marseille-ben a csehszlovákok ellen is.
Illovszky pedig 1967-69 között ismét a Vasast edzette, majd a görög Pierikosznál dolgozott egy évig. 1971-ben visszahívták a válogatott kispadjára. Az 1972-es Eb selejtezősorozatának közepén vette át a csapatot, és három győzelemmel biztosította a továbbjutást Bulgária, Franciaország és Norvégia előtt. A Románia elleni pótselejtezőben két döntetlen után harmadik mérkőzésre került sor, amelyet Belgrádban nyertünk meg 2-1-re. A kontinenstorna belgiumi négyes döntőjében a Szovjetunió ellen kezdtünk, és 1-0-s vereséget szenvedtünk. A bronzmérkőzésen szintén kikaptunk, ezúttal 2-1-re a házigazda belgáktól, és a negyedik helyen végeztünk.
A müncheni olimpián is ő vezette a labdarúgócsapatot. A torna C csoportjában Iránt 5-0-ra, Dániát 2-0-ra győztük le, a két diadal között pedig döntetlent játszottunk Brazíliával, így továbbjutottunk. A második csoportkörben az NDK-t 2-0-ra, az NSZK-t 4-1-re, Mexikót pedig szintén 2-0-ra vertük, így a kvartett győzteseként a döntőbe kerültünk. Ott Lengyelország már alakuló majdani nagy csapata volt az ellenfelünk, akik ellen vezettünk ugyan, de végül 2-1-es vereséget szenvedtünk, és az ezüstérmet szereztük meg.
Az 1974-es világbajnokság kvalifikációs sorozatában csak Máltát tudtuk legyőzni. Svédország és Ausztria ellen összesen négy döntetlent játszottunk, így rosszabb gólkülönbségünk miatt kiestünk a sorozatból.
Illovszky még néhány barátságos mérkőzésen a válogatottnál maradhatott, de 1974-ben újra a Vasas edzője lett. 1977-ben pedig megint bajnokcsapatot csinált az angyalföldi együttesből, immár negyedszer. Ez után egy évre ismét külföldre, az osztrák Admira Wacker csapatához ment. 1982-83-ban majd 1984-86 között azonban már újra a piros-kékeknél dolgozott. Ezután sportvezetőként segítette klubját, illetve 1995-ben beugróként mentette meg a csapatot a kieséstől. 2002-ben a Vasas Fáy utcai stadionját róla nevezték el. A 2000-es évek közepétől többször is kórházi kezelésre szorult, elsősorban szívproblémák miatt. 2008 szeptember 23-án Budapesten hunyt el.