Az NFL egyik legszínesebb egyénisége édesapja, a Coltsot 1972-ben 12 millió dollárért megvásároló, 1983-ban Baltimore-ból Indianapolisba költöztető Robert Irsay halála után, 1997-ben állt a klub élére. Már előtte is tagja volt a Colts vezetőségének, a ligának is dolgozott, az 1980-as években tagja volt annak a csoportnak, amely kidolgozta a fizetési plafon rendszerét.
A klub élére állása után, az irányítása alatt draftolta az Indianapolis 1998-ban Peyton Manning irányítót, akivel a liga egyik legerősebb csapatává vált a Colts, és 2007 februárjában a Chicagót a Super Bowlban legyőzve a csúcsra ért.
Manning is megemlékezett Irsay haláláról. „Örök hálával tartozom neki azért, hogy lehetőséget adott nekem az NFL-ben. Senki sem imádta úgy a Coltsot és Indianapolis városát, mint Jim, óriási hatással volt a Colts játékosaira, mindenki jó szívvel emlékezik rá, ebben biztos vagyok” – írta Manning.
Jim Irsay regnálása idején a liga egyik legbefolyásosabb figurája volt, a rajongókat nemcsak őszinte megnyilvánulásaival nyűgözte le, hanem extravagáns személyiségével is. Rockbandában zenélt, a nyári edzőtáborban meccsjegyeket osztogatott a szurkolóknak, a közösségi oldalakon kvízjátékokat szervezett, a győztesek utazással, szállással, teljes ellátással VIP-jegyeket nyerhettek idegenbeli meccsekre és Super Bowlokra.
Apjához hasonlóan Irsaynek is súlyos problémája volt az alkohollal és a drogokkal, 2014-ben egy évre el is tiltották az NFL-ügyektől. 2023 decemberében eszméletlenül találták otthonában, de túlélte a túladagolást.
Családjával 31 millió dollárral támogatta a mentális problémákkal küzdőket megsegítő alapítványokat. Nagy lábon élt, szenvedélyes gyűjtő volt, sport- és zenei ereklyéket vásárolt, Elton John egyik zongorájáért csaknem egymillió dollárt fizetett. Állítólag nemrég visszautasította egy arab milliárdos ajánlatát, aki egymilliárd dollárt kínált a kollekciójáért. Halálakor a vagyonát 4.8 milliárd dollárra becsülték.
Az utóbbi hónapokban nem mutatkozott nyilvánosság előtt, kihagyta az NFL tavaszi csapattulajdonosi találkozóit és a draftot is. A közösség oldalán ugyanakkor napokkal ezelőtt üzent az NBA keleti döntőjében szereplő Indiana Pacersnek.
Halála után három lánya örökölte meg a klubot, a vezetés valószínűleg Carlie Irsay-Gordon kezébe kerül, ő helyettesítette 2014-es eltiltása idején is.