Vznik Rudolfina je spojený s Böhmische Sparkasse (Česká spořitelna), která byla tehdy nejstarším peněžním ústavem založeným v roce 1825 na území Českého království, a která tuto výstavbu iniciovala. V této době to byly právě podnikatelé a finanční ústavy, které měly finanční prostředky na její zrealizování. O výstavbu této novorenesanční budovy se postarali Josef Zítka a Josef Schulz. Jejich projekt byl zaměřený na rozdělení budovy do dvou funkčních částí – galerijní a koncertní. Na jih bylo umístěno průčelí koncertní části (dnes do náměstí Jana Palacha) a fasáda byla zakončena balustrádou, která byla ozdobena vázami a plastikami významných hudebníků. Stejná výzdoba byla použita i pro galerijní část budovy, jejíž severní fasádě dominují monumentální nárožní věže. Z prostranství u Vltavy se vchází do slavnostní dvorany Rudolfina, kterou lemuje 25 arkád.
Slavnostní otevření se konalo 7. února 1885, které vyvrcholilo slavnostním koncertem, na kterém jako první skladba zazněla Svěcení domu od Ludwiga van Beethovena. Rudolfinum se po otevření stalo sídlem Obrazárny, hudební konzervatoře a Uměleckoprůmyslovým muzeem. V roce 1896 se v Rudolfinu konal historicky první koncert České filharmonie, kde na pódiu stanul sám Antonín Dvořák. Tato koncertní síň byla po něm pojmenovaná. Po vzniku Československa našla i jiné uplatnění - byla hojně využívaná jako hlavní zasedací sál poslanecké sněmovny Národního shromáždění.
Během druhé světové války došlo k rehabilitaci Rudolfina, o kterou se postarali architekti Bohumír Kozák a Antonín Engel. Tvůrčí význam se přisuzuje k zřízení malého koncertního sálu v přízemí, jehož výzdoba byla inspirovaná tou původní. Zajímavostí je, že severní část byla využita úplně pro jiné účely. Z Dvorany byla totiž zřízena tělocvična. Ke konci 80. let minulého století jí hrozil zánik, ke kterému naštěstí nedošlo, a Dvorana si zachovala svou původní podobu.
V letech 1989-1992 prošla budova výraznou rekonstrukcí. Krátkou dobu hostila galerijní část budovy společnou expozici Národní galerie a Uměleckoprůmyslového muzea, která mapovala umění na přelomu 19. a 20. století. Tato koncepce se však neosvědčila a od roku 1994 zde sídlí, z pověření MK ČR, nynější Galerie Rudolfinum. Galerie je známá jako Kunsthalle, tedy galerie založená na konceptu pořádání dočasných výstav bez stálé expozice. Podílela se na zastoupení předních zahraničních umělců jako jsou Andy Warhol, Louise Bourgeois, Georg Baselitz, či Nan Goldin, ale také pořádala výstavy významných domácích autorů, jakými jsou například Alén Diviš, Petr Nikl, Ivan Pinkava, nebo Jiří Černický. Od září do prosince 2017 uspořádala Galerie Rudolfinum svou stou výstavu, kterou byla instalace děl Krištofa Kintery. Galerie se neustálé soustředí na rozvíjení stávajících dramaturgických postupů připravovaných s vysokou odbornou náročností, v čele s orientací na velké mezinárodní projekty a výjimečnou kvalitu vystavovaných umělců. Kromě výstavních sálů se v galerii nachází i edukační prostor pro děti i dospělé, nazvaný Artpark. Pravidelně se zde konají workshopy zaměřené na inspirativní témata ze současného umění vedené profesionálními lektory. K tomu dále prezentuje také cyklus prezentací mezinárodních i českých současných umělců působících na poli časových médií, tedy filmu, videa a animace, nazvaný Rudolfinum_Time-Based. Vstup do Artparku i na promítání je zdarma.
V dnešní době Česká filharmonie pronajímá v budově Rudolfina Dvořákovu síň, komorní Sukovu síň, skvěle vybavené nahrávací studio, zkušebny a šatny.
Při přípravě textu byly využity informace z webu Rudolfina (www.rudolfinum.cz).