Ao lado da Igreja do Castelo, na parte externa da porta principal, existia um marco de pedra com armas de Portugal. A seu respeito floresceram muitas lendas mais ou menos razoáveis. Acredita-se com boa razão que esse é o marco de pedra da fundação da Cidade do Rio de Janeiro fincado por Estácio de Sá, transferido mais tarde com a cidade, a capela e o corpo do heróico fundador para o morro do Castelo.

Em 20 de janeiro de 1915 um outro marco comemorativo foi colocado na esplanada junto à encosta do morro Cara de Cão, na Fortaleza de São João. O verdadeiro marco, porém, trazido do morro do Castelo conserva-se na Igreja de São Sebastião, em lugar de honra, juntamente com outras relíquias históricas e está em poder dos frades capuchinhos.