Budapesti zsidó családba született, szülei tánctanárok voltak. 16 éves korára maga is képzett oktató lett, állítólag ennek köszönhette egyedi stílusát, amit a fedezet posztján kamatoztatott. 19 évesen került az MTK-hoz, amellyel két bajnoki címet ünnepelhetett. Ezután a Hakoah nevű bécsi zsidó csapatba igazolt, majd onnan játékostársaival kiválva az Egyesült Államok több klubjában is játszott. Négyszer pályára léphetett a magyar válogatottban is, amelyben egy gólt szerzett.
Legnagyobb sikerei azonban játékos-pályafutása végén kezdődtek. Miután edzőként is megfordult a Hakoah-nál, majd a holland Eschedénél is, az Újpestet vezette bajnoki címre 1939-ben. A második világháborút – amelynek során bátyja koncentrációs táborba került – Svájcban vészelte át. 1945-ben rövid ideig a Vasasnál dolgozott, majd megkezdte nagy vándorlását. Edzője volt egy-egy kisebb román és argentin csapatnak, az Újpestnek, a Kispestnek, néhány olasz együttesnek, a ciprusi Apóelnek, majd a Milannál vállalt munkát, és olasz bajnoki címet szerzett.
Egy kisebb kitérő után a brazil Sao Paolóhoz került, ahol egy szezon alatt bajnoki címet szerzett. Állítólag ennek a csapatnak a mintájára alkalmazták a brazil válogatottnál a 4-2-4-es játékrendszert a világbajnokságon, amellyel fölényesen nyerték meg a tornát.
Sikerei ellenére Guttmann ismét továbbállt, ezúttal az FC Portóhoz. Itt szintén bajnok lett az első szezonjában, és innen is távozott az idény végén, méghozzá a nagy rivális Benfica kispadját foglalta el. Ezzel a csapattal is azonnal aranyérmes lett – ráadásul felfedezte Eusébiót –, majd még nagyobb sikerek következtek. Az 1960-61-es szezonban megvédték bajnoki címüket, és megnyerték a Bajnokcsapatok Európa Kupáját is, 3-2-re legyőzve a Kubalával, Cziborral és Kocsissal felálló Barcelonát.
Guttmann kivételes módon a harmadik idényét is elkezdte ugyanannál a csapatnál, és ezúttal is sikeresnek bizonyult. A bajnokságot ugyan nem nyerték meg, de a BEK döntőjébe ezúttal is bejutottak, ahol a Puskás-féle Real Madrid volt az ellenfél. 0-2 és 2-3 arányban is vesztésre álltak, de végül 5-3-ra fordítottak, és megvédték nemzetközi címüket. Az edző számára azonban ez újabb búcsút jelentett, mivel a vezetőkkel nem tudott megegyezni a fizetéséről. Távozásakor állítólag kijelentette, hogy a Benfica még száz évig nem fog európai kupát nyerni. Nos, azt nem tudhatjuk, hogy van-e összefüggés, de a csapat azóta öt BEK-döntőt játszhatott, és mindet elvesztette. Annak ellenére, hogy az 1990-es Milan elleni finálé előtt Eusébio meglátogatta egykori mestere sírhelyét, hogy kikönyörögje a megbocsátását.
A szenzációs európai szereplés után Guttmann megfordult Uruguay-ban, majd Ausztriában, Svájcban és Görögországban is, közben a Benficánál és a Portónál is újra dolgozott, de újabb kiemelkedő sikert már nem ért el. 1974-es visszavonulása után Bécsben telepedett le, ahol a hét évvel későbbi haláláig élt.