A barokk kastély az egykori vár falainak elhasználásával épült 1783-84-ben. Egykori kápolnájában fennmaradt az eredeti barokk falkép. A város főterének ez a legnevezetesebb épülete. A pápai erőd már a XV. században állt, majd a török korban a végvárrendszer egyik tagja lett. 1704-ben a várőrség Rákóczi mellé állt, 1707-ben pedig császári hadak szállták meg. A várat az 1740-es évektől kezdték kastéllyá átalakítani Franz Anton Pilgram tervei alapján. Halála után Fellner Jakab, majd Grossmann József folytatta a munkát. Az U alakú, egyemeletes barokk kastély a versailles-i kastélytípusba tartozik. Az előcsarnokból indul a barokk pompájú, kőkorláttal és stukkós mennyezettel pompázó lépcsőház, melyet gyakran hasonlítanak a pozsonyi Nyáry-palota híres lépcsőházához. Az emelet látnivalója a díszterembe, ismertebb nevén Nádor-terembe. Itt láthatjuk azt a festményt, mely Pápát az 1700-as évek közepén ábrázolja. A Nádor-terem jellegzetes barokk berendezésével, intarziás parkettájával, barokk kályhájával sokat érzékeltet abból, milyen lehetett a kastély korábbi állapotában. A múzeumban több korabeli bútort, festményt, használati tárgyat őriznek, de ezek többsége nem a kastélyból származik, később került ide. 16 év után újra várja látogatóit a pápai Esterházy-kastély A januárban kezdődött és április végéig tartó - 267 millió Ft értékű - rekonstrukció keretében a kastély hét, emeleti helyisége. - többek közt az Ősök csarnoka, a Vörös-szalon, a Nádor-terem, a Nagyebédlő – újult meg és nyitotta meg kapuit a látogatók előtt. A főúri terek felújítása mellett a földszinti kiszolgáló tereket - előtér, jegypénztár, akadálymentes vizesblokk, ruhatár – alakították ki. A felújítás során kicserélték a nyílászárókat, faljavításokat, festést végeztek a kivitelezők, elhelyezték a szükséges gépészeti berendezéseket valamint a fűtéshez szükséges vezetékeket és radiátorokat, restaurálták a faburkolatokat és a stukkókat, felújították a kőburkolatokat és az emeletre vezető lépcsőt. A földszinti kiszolgáló területek és az emeleti terek akadálymentes megközelítésére lift épült. A projekt során nyolc rossz állapotú festmény és két cserépkályha restaurálása történt meg, helyükre kerültek a korábban restaurált festmények, köztük a híres Pápa látkép is. Az emeleti termek korhű kárpitborítást és szőnyegezést kaptak.