Zgrada dvora je sagrađena između 1892. i 1895. godine po projektu našeg arhitekte Vladimira Nikolića, na mestu gde se nekada nalazio "Pašin konak". "Pašin konak" je bio prva rezidencija poglavara srpske crkve nakon prebacivanja arhiepiskopije iz Peći u Sremske Karlovce. Mitropolit Stefan Stratimirović je 1817. godine osnovao fond za prikupljanje sedstava za izgradnju dvora, a koji je izgrađen za vreme mitropolita Georgija Brankovića. Izgradnja dvora "u stilu talijanskih palata" poverena je preduzimačima Peklo Beli i Karlu Lereru. Dvorsku kapelu je oslikao Uroš Predić. Osnova dvora je u obliku ćiriličnog slova Š, a na strdišnjem krilu se nalazi ulaz sa kolskim prilazom. Iznad ulaza, na spratu se nalazi dvorska kapela, koja je pokrivena poluloptastom kupolom sa lanternom na vrhu. U sklopu dvora je za javnost otvorena riznica sa stalnom postavkom predmeta iz XVIII i XIX veka iz razorenih i ugroženih crkava u Bosni i Hrvatskoj. Kompleks je ograđen visokom ogradom, kombinovan zidom i rešetkama od kovanog gvožđa.
Danas je zgrada stalna rezidencija vladike sremskog i letnja rezidencija srpskog patrijaha, i muzej Srpske Pravoslavne Crkve. Zgrada i park se besprekorno održavaju. Dvor je spomenik kulture od izuzetnog značaja.
Danas je zgrada stalna rezidencija vladike sremskog i letnja rezidencija srpskog patrijaha, i muzej Srpske Pravoslavne Crkve. Zgrada i park se besprekorno održavaju. Dvor je spomenik kulture od izuzetnog značaja.