A később a háló előtt világhírnevet szerzett Grosics középiskolás korában még csatárként riogatta az ellenfeleket, majd amikor egyszer nem jött el a kapusuk, neki kellett hátramennie a gólvonalra.
1947-ben Budapestre került, s a MATEOSZ csapatában folytatta pályafutását. 1950-ben már a Teherfuvar mezét viselte, igaz, nem váltott klubot: volt együttese beleolvadt a Teherfuvarba.
Az 1947-ben már a válogatottban is bemutatkozó kapus 1950 nyarán végre nagycsapatba, az akkor többek között Budai II Lászlóval és Kocsis Sándorral megerősödő Bp. Honvédba került. S ha hozzátesszük, hogy Bozsik József és Puskás Ferenc már régóta ott kergette a labdát, kijelenthető: kiváló csapat alakult Kispesten.
Grosics a Honvéddal három bajnoki címet nyert, majd nemcsak hogy el kellett hagynia a katonacsapatot, hanem még hosszabb időre el is tiltották. 30 éves korában Tatabányán kapott lehetőséget, s még hat jó éve volt a bányászoknál, mielőtt 1962-ben végleg szögre akasztotta volna a stoplist.
A válogatottal 1952-ben olimpiai bajnok lett, két év múlva pedig világbajnoki második – utóbbi eredményt az ország akkor hatalmas csalódásként élte meg, mivel a csoportmérkőzések során már legyőzött NSZK ellen maradt alul Sebes Gusztáv válogatottja a fináléban.
A köztes évben, 1953-ban került sor a legendás Anglia-Magyarország válogatott meccsre, amikor is a magyar csapat 6:3-as győzelmet aratott a Wembley-ben. Bizonyítván, hogy ez nem csak egy kifutott eredmény volt, a következő év tavaszán 7:1-re verték meg Puskásék a briteket.
1956-ban több válogatott játékos is külföldre távozott, Grosics ellenben maradt, s Bozsikkal az átalakult nemzeti tizenegy erőssége volt továbbra is. 1958-ban ennek ellenére a csoportmérkőzések során kiesett a magyar csapat, 1962-ben pedig a negyeddöntőben búcsúztak a Baróti-fiúk.
Grosics a chilei vb után még egy alkalommal húzta fel a válogatott mezt, amelyet összesen 86 alkalommal viselhetett.
Pályafutása befejezése után előbb Tatabányán, majd Salgótarjában edzősködött. Két évig a Kuvait SC edzéseit irányította, több csapata nem volt. Később hosszú ideig, egészen 1984-ig a Volán SC elnöke volt.