Das Museum Ludwig der Stadt Köln zeigt Kunst des 20. und 21. Jahrhunderts und zählt heute zu den bedeutendsten Kunstmuseen Europas. Das unmittelbar südöstlich des Doms und des Hauptbahnhofs auf der Domplatte gelegene Museum beherbergt neben der größten Pop-Art-Sammlung Europas die drittgrößte Picasso-Sammlung der Welt, eine der wichtigsten Sammlungen zum deutschen Expressionismus, Schlüsselwerke der russischen Avantgarde und eine Sammlung zur Geschichte der Fotografie mit ca. 70.000 Werken. Das Museum verfügt über eine Ausstellungsfläche von annähernd 9.000 m². Im selben Gebäude befinden sich zudem die Kölner Philharmonie, die Kunst- und Museumsbibliothek der Stadt Köln und das Filmforum NRW.
Ausgangspunkt für ein Kölner Museum der Gegenwartskunst war die Expressionismus-Sammlung des Kölner Bürgers Josef Haubrich. Diese wurde in das Wallraf-Richartz-Museum integriert und mit der Zeit um weitere Werke der Kunst des 20. Jahrhunderts erweitert.
Als das Sammler-Ehepaar Peter und Irene Ludwig der Stadt Köln rund 350 Werke überwiegend der Pop-Art schenkte, „beschloss die Stadt Köln, unter der Direktion von Gerhard Bott, der 1975 sein Amt antrat, zusammen mit dem Stifterehepaar Ludwig, ein eigenes Museum für die Kunst des 20. Jahrhunderts zu etablieren. Das Museum Ludwig wurde gegründet, um zwei Sammlungen unter einem Dach präsentieren zu können: das Wallraf-Richartz-Museum und das Museum Ludwig. Für beide Museen sollte ein gemeinsamer Neubau errichtet werden. Die Überlegungen dazu wurden kontrovers diskutiert“, denn gleichzeitig war „die Domplatte […] fertig[gestellt worden], das Römisch-Germanische Museum eröffnet und die neue Stadt hatte deutlich Gestalt angenommen. Doch klaffte zwischen Dom und Rhein eine Lücke. Hier sollte ein großes Zeichen gesetzt werden: ein Komplex aus zwei Museen und einer Philharmonie. Gut hätten es auch drei Häuser an drei Standorten werden können, doch die Stadt wollte das eine große Projekt und damit auch noch ein städtebauliches Problem lösen: Zwischen der Kante der Domplatte im Osten und der Rheinuferstraße hatte sich ein Vakuum gebildet, das als Bushof genutzt wurde. Geballte Kultur schien ein geeignetes Mittel, den Stadtgrundriss mit Masse und Inhalt zu füllen. So lobte die Stadt […] 1975 einen Ideenwettbewerb aus“, obwohl sie eigentlich selbst nicht recht daran glaubte die städtebauliche Situation so in den Griff zu bekommen.
1974 erfolgte die Ausschreibung zum Ideenwettbewerb für das „Stadtgebiet Dom-Hauptbahnhof mit Neubau des Wallraf-Richartz-Museum“. Das Museum blieb weiterhin in den alten Räumen, in denen heute das Museum für Angewandte Kunst untergebracht ist. Weitere Schenkungen des Ehepaares Ludwig betrafen eine umfangreiche Sammlung von Werken der Russischen Avantgarde und schließlich mehrere hundert Werke von Pablo Picasso, die ursprünglich als Dauerleihgaben zur Verfügung gestellt wurden.
Der für alle freischaffenden Architekten der Bundesrepublik offene Wettbewerb wurde bei 63 eingegangenen Arbeiten im Januar 1976 unter dem Vorsitz von Rudolf Hillebrecht entschieden. Weitere Fachpreisrichter waren u. a. die Architekten Nikolaus Rosiny, Fritz Schaller, Helmut Striffler und Dombaumeister Arnold Wolff. Zur Teilnahme gesondert aufgefordert waren fünf namhafte ausländische Architekten. Neben James Stirling waren das Claude Paillard, Georges Candilis, Itzhak Yashar und Dan Eitan.
Beim Wettbewerb für die komplexe städtebauliche Situation nahmen u. a. die Kölner Architekten Gottfried Böhm, Oswald Mathias Ungers, Joachim Schürmann und Walter von Lom teil. Der Entwurf des Briten James Stirling erregte ebenso viel Aufsehen wie die „typologische Collage“ seines deutschen Kollegen Ungers. Besonders einprägsam waren die Abfolge der drei Perspektiven von Karl-Lothar Dietzsch, in denen sich der Magritte-Mann durch die Raumfolgen einer Architektur bewegt, die dem römischen Stadtraster folgte. „Ungers selbst hat, bei der Erläuterung seines Museumsentwurfs für Köln, das bewusste Nebeneinandersetzen von bestehender Stadt, mit ihren, über die Jahrhunderte abgeschliffenen Kanten und Ecken, und seinen präzisen, kristallklaren und surrealen Raumbildungen hervorgehoben“.
„Die Kölner Architekten Busmann + Haberer im BAUTURM Köln schieden in der ersten Runde aus. Scheinbar unbeeindruckt durch die unmittelbare Nachbarschaft des Doms, hatten sie zu seinen Füßen eine bewegte Sheddachlandschaft platziert, die die Kleinteiligkeit der rekonstruierten Altstadtkulisse in zeitgemäßer Weise fortschreiben sollte. Doch die Architekten wollten hier kein Gebäude errichten, sondern ein Stück Stadt schaffen, eine dem Fußgänger vorbehaltene aufgelöste Struktur mit Plätzen und Wegen... um sich vis-à-vis mit großzügiger Geste zum Rhein zu öffnen.“ (Anm.: Intention ähnlich wie im Entwurf von O.M. Ungers)... Arnold Wolff war es zu verdanken, dass der Entwurf einstimmig wieder zurückgeholt und mit dem ersten Preis ausgezeichnet wurde. In Fachkreisen war diese unübliche Entscheidung der Jury mit argumentativer Nachbesserung zur Höhendiskussion durch die späteren Preisträger ebenso umstritten, wie diese Art der Architektur. Ein Architekturkritiker sah gar in der Industrietypologie des Entwurfs von Busmann und Haberer eine Art Milchproduktionsanlage, andere kritisierten die Kombination des Doppelmuseums mit „dem verlangten Konzertsaal, der bei beengtem Bauplatz, unter die Erde bis tief in den Grundwasserbereich verlegt werden musste“. Nach der Kunsthistorikerin und Denkmalpflegerin Judith Breuer, war das „Hauptcharakteristikum des Komplexes, seine amöbenhafte Form. Einer expressionistischen Architekturlandschaft gleichkommend, gliedern ihn wellenartige Shedddächer, welche – im Fabrikbau geläufig – hier vom Bauhaus-Archiv in Berlin angeregt scheinen. In ihrer strikten Ostwestorientierung setzen sie die Domarchitektur in die Horizontale um. Mit dieser Anpassung haben aber weder Dom, noch Museum, noch die Bahnhofshalle gewonnen. Eine mehr kompaktere Form, wie sie Gottfried Böhm, James Stirling und Oswald Mathias Ungers in ihren Museumsentwürfen wählten, hätte dem modernen Großbau neben seinen wilhelminischen Nachbarn und dem Dom sicher eine stärkere Eingenständigkeit gelassen.“
Die übrigen prämierten Arbeiten lassen erkennen, dass die Jury den damals üblichen offenen Strukturen (mit abgeschrägten Ecken) im Sinne von „Architekturlandschaften“ den Vorrang einräumten (z. B. 2. Preis des "Architektenrings Bonn" mit Wilfried Pilhatsch, Ernst A. Jann, Till von Hasselbach) vor den eher geometrisch klar ausformulierten Architekturkonzepten. Da Ungers noch zwischen Upstate New York und Müngersdorf pendelte und in Köln noch nicht recht Fuß gefasst hatte und er sich wie Stirling mit dem postmodernen Entwurf für den Wettbewerb der Kunstsammlung Nordrhein-Westfalen im nahen Düsseldorf (später realisiert von Dissing und Weitling) bei den Traditionalisten suspekt gemacht hatte, erfolgte 1976 die Auftragsvergabe an das Architekturbüro Busmann und Haberer ohne größere Diskussion innerhalb der Architektenschaft, die am Wettbewerb teilgenommen hatte. Anders die Kunsthistoriker: so zogen Christoph Bellot und Wolfgang Augustyn ein kritisches Resümee zum Aussenbau: „Das vielgepriesene Moderne des Baus ist allenfalls Konvention: man denke an die Container-Architektur der 60er und 70er Jahre; das vermag auch die Verglasung zum Platz hin nicht zu ändern. Der Entwurf setzte, neben der Platz-Idee, bei der Beleuchtungsfrage ein, die uniform mit dem Shed gelöst wurde. Die Wahl des Projekts von Busmann und Haberer verwundert nicht; eine Jury entscheidet nach ihren ästhetischen Vorstellungen. Da man eine quasi-landschaftliche Konzeption wünschte, eine gefällige Fassung möglich schien und die Reduzierung der Baumassen durch Verdrängen in den Untergrund versprochen wurde, mußten etwa Ungers’ und Stirlings Projekte mit klaren kubischen Formen als zu selbstbewußte, stark reflektierte Ideen von intellektueller Kälte erscheinen. Zudem ließ sich von der Ostens Mahnung zum Verzicht auf Zitathaftes in ein Verdikt gegen die 'Postmoderne’ ummünzen (Museum für eine Gesellschaft von morgen S. 147). Was blieb, war Kompromiß, dessen angebliche Zweckgebundenheit mit dem Begriff des Dienenden geschönt wurde“.