Museum aan het Vrijthof is gehuisvest in het Spaans Gouvernement, een 16e-eeuws kapittelhuis. De naam Spaans Gouvernement herinnert aan de bezoeken die Karel V, die zowel Spaanse koning, Duitse keizer als hertog van Brabant was, tussen 1519 en 1550 aan Maastricht bracht. Tijdens deze verblijven verbleef Karel V in het Spaans Gouvernement. In deze jaren werd het in vakwerk op een stenen onderbouw opgetrokken gebouw vervangen door het huidige, in mergelsteen uitgevoerde huis. De wapenschilden boven de ramen op de eerste verdieping en de gebeeldhouwde portretmedaillons van Karel V en zijn echtgenote Isabella van Portugal in het reliëf rond een van de bogen van de arcade aan de zijde van de binnenplaats herinneren aan zijn aanwezigheid.
Het in de eerste helft van de 16e eeuw gebouwde Spaans Gouvernement toont de kenmerken van de overgangsstijl tussen de late gotiek en de vroege renaissance. De accoladevormige beëindiging van de vensters aan de zijde van de binnenplaats zijn nog onmiskenbaar laatgotisch, terwijl de rondboogvormige kruisvensters aan de zijde van het Vrijthof en de arcade met bijzondere tulpvormige kolommen aan de zijde van de binnenplaats zonder meer renaissancistisch zijn. Bijzonder is het al vermelde gebeeldhouwde reliëf met portretmedaillons en de datering 1545 en de gebeeldhouwde kapitelen met exotische mens- en diermotieven, die een pre-Columbiaanse inspiratie verraden.
De arcade was geopend tot in de 18e eeuw. Tijdens een ingrijpende verbouwing is de begane grond van de tot dan toe op een koetspoort na gesloten voorgevel voorzien van vensteropeningen aan de zijde van het Vrijthof en is de arcade dichtgezet. Zodoende kon de begane grond ook voor bewoning worden gebruikt.
In 1973 is het Spaans Gouvernement verbouwd en uitgebreid ten behoeve van de museale huisvesting van de collectie Wagner-de Wit. Daartoe is de verbindingsgalerij naar het eveneens nieuw gebouwde paviljoen gerealiseerd. De oorspronkelijke toestand is gedeeltelijk hersteld door de arcade weer vrij te leggen en slechts te sluiten met behulp van een achter de bogen en kolommen geplaatste, glazen gevel.