Construído em 1746, fio inicialmente usado para abrigar o governo das capitanias do Rio de Janeiro e Minas gerai, Ficando conhecido como a casa dos governadores. Com a transferência da capital colonial de Salvador, na Bahia, para o Rio de Janeiro em 1763, o vice-rei Luiz de Vasconcelos construiu o cais com o chafariz, sendo nele obrigatorio o desembarque dos que no Rio de Janeiro aportavem. A praça teve então seu nome mudado para paço dos Vice-Reis. Com a chegada da corte portuguesa, em 1808, ficou conhecido como largo do paço, removendo-se o pelorinho lá existente para a atual praça Tiradentes (à época Rossio Pequeno) e mudou-se o nome do local para Paço Real. A parti da Independêcia, passou a Paço Imperial e, com o advento da República, deixou de ser sede do governo, sendo ocupado, de 1890 a 1980, pelo Departamento de Correios e Telégrafos.
Desde 1982, o local funciona como um centro Cultural, com exposições permanentes e temporárias, restaurantes e eventos musicais.
A importancia do Paço Imperial se deve ao fato de que, além de primeira residência da familia real portuguesa ao chegar ao Brasil (depois foi para o Palácio da Quinta da Boa Vista) foi palco de importantes acontecimentos, como a aclamação de um rei (D.Jão VI); as coroações de D.Pedro I e D.Pedro II como Imperadores; o episodio do "Dia do Fico", pronunciado por D.Pedro I de uma das sacadas; a assinatura da Abolição da Escravatura, em 1888; o comunicado de deposição de D.Pedro II e de extradição da familia real com a Proclamação da República, em 1889, quando aquela praça passou a chamar-se então de Praça XV de Novembro.