Roma imparatoru 1.Constantinus Büyük Konstantin imparatorluk merkezini 11 Mayıs 330’da Constantinopolis’e resmen ve törenle naklettikten sonra, Anapolis ‚Arnavutköy’de Ay Mikhail adına bir mabet yaptırmış, bunu imparator İustinianos genişletmiş ve zenginleştirmişti; köy de bu kilisenin adıyla anılmaya başlanmıştı. Bu Vikos Mihailikos Kilisesi sonra harap olmuş; İmparator Justinyen 6. asır ortalarında büyük kiliseyi yaptırmış ve gayet güzel mozaikler ve tablolarla içdüzenleme yapılmıştı. İstanbul Latinler tarafından sarıldığı zaman, Rumlar büyük şehrin mabetlerindeki hazineleri buraya kaçırmışlar, fakat Latinler, şehri aldıktan sonra buraya gelerek yağma etmişler ve kiliseyi tahrip etmişlerdi. Harabesinin taşları ise, Fatih Sultan Mehmed tarafından Rumeli Hisarı inşaasında kullanılmıştır.
1. Bayezid de öbür yakada bir hisar yaptırmıştı. Öyle ki, Boğaz’dan geçmeye çalışan yabancı gemiler her iki hisardan topa tutularak batırılabilecekti. Fatih, kuşatmaya başlamadan bir yıl önce, Rumeli’deki hisarı dört ay gibi çok kısa bir sürede tamamlattı. Bu Hisar, Fatih’in işi ne kadar ciddi tuttuğunun örneklerinden biri. Eksiksiz bir plan ve uygulama ile fetih işine girişmiş. Bu sıralarda Bizans epey bitik durumdaydı, ama efsanesi hâlâ güçlüydü. Kuşatma sırasında Batı’dan yardım gelebilirdi. Ayrıca, Osmanlı tahtında iddiası olan bir şehzade (Orhan) 
İstanbul’da kalıyordu. Fatih, hızlı ve etkili davranmak zorundaydı. Arazinin bir Rum manastırına ait olduğuna ilişkin bir hikâye var. (Bir başka iddiaya göre Bizanslılar’ın hapisane olarak kullandığı bir kale olduğu). Güya manastırdaki keşişler araziyi Türklere satmak istemiyorlarmış. Fatih ancak bir inek postunun kaplayacağı kadar bir yer istediğini söyleyerek onları kandırmış. Sonra inek postunu çok ince bir şerit haline gelecek biçimde kestirmiş. Bu söylenti Fatih’in zekâsını övmek için anlatılmışa benzer, ama daha çok adalet anlayışını vurguluyor. Araziye zorla el koyması o kadar zor değildi. Plan Fatih’in hisarı yaptırmak istediği engebeli tepelere uyacak biçimde yapıldı. Fatih’in vezirleri de üç büyük kuleyi yaptırdılar. Bunlardan biri deniz kıyısındadır (Halil Paşa), öbür ikisi ise tepelerin üzerindedir (güneyde, Zağanos Paşa ve kuzeyde Sarıca Paşa).Hisar yalnız bir amaçla -kenti almak amacıyla- yapılmıştı ve kent alındıktan sonra da işlevini yitirdi.
21 Mart 1452’den itibaren de inşaata bizzat Fatih nezaret etti. Hisar mimarı mimar Müslihüddin olduğu halde, Fatih’in gerek planın hazırlanmasında, gerek kulelerin, mazgalların, kapıların yerlerinin tespitinde görüşleri esas alınmıştır. Halil Paşa burcundan sonra sırtta, sağ yanda Sanıca Paşa burcu, sol yanda da Zağanos Paşa burcu yaptırılmış ve ara yerde germe denilen duvarlar örülmüştür, inşaat süresince 1.000 kadar usta, 3-4 bin kadar işçi çalıştırılmış ve bu dönem içinde çok sıkı inzibati tedbirler alınmıştı. Esasen işçi ve usta takımları, kadıları ile birlikte getirilmişler, suç işleyenlere ağır cezaların uygulanacağı, işini süratle bitirenlerin de mükâfatlandırılacağı ilan edilmiştir. 
2.000 m. uzunluktaki Rumeli Hisarı 4 aylık bir çalışmadan sonra Ağustos 1452’de tamamlandı. Hisara 400 yeniçeri ile ilk atanan dizdar Firuz Ağa’dır. Hisar kuvvetli toplarla da donatıldı.
İlk kez 10 Kasımda Karadeniz’den gelen 2 Venedik gemisine ateş açıldı. 26 Kasımda ise Anatonia Rizo’nun süvarilik ettiği gemi batırıldı. 2 Aralıkta da bir Trabzon gemisi güçlükle bu ateş barikatını aşabildi. Hisarın böylece tasarlanan görevi yapabileceği anlaşılmış oldu. İstanbul’un fethinden sonra fazla askeri önemi kalmadığı için siyasi ve askeri suçlular için bir hapishane olarak kullanılmaya başlanmıştır. 17. yüzyılda Rumeli Hisarı dört kapılı küçük bir kale idi. Duvarları arazinin engebelerine göre 5-3 m. arasında değişen bir kalınlıkta idi. Üç büyük burçtan başka küçük kuleleri de vardı. Kulelerin içi ahşap olup, her katta bir ocak bulunuyordu. Hisarın içinde dizdar ve nöbetçi yeniçerileri evlerinden başka Fatih’in yaptırdığı bir mescid, mescidin altında bir sarnıç ve iki de çeşme vardı.
1509 depreminde hasar gören hisar hemen tamir edilmiştir. 1746’da bir yangın geçiren Rumeli Hisarı,  2. Selim zamanında onarılmıştır. Zamanla içine ahşap evler yapılmış, böylelikle konut bölgesi haline gelmiştir. 1918’de bir ölçüde onarılmıştır. 1953’te ise, içindeki bütün evler yıkılarak büyük bir onarımdan geçmiştir. Bahçesi park olarak düzenlenmiş, yalnız minaresi kalan ortadaki camiinin yeri, arazinin eğiminden yararlanılarak açık hava tiyatrosuna çevrilmiştir.
Rumeli Hisarını Harita üzerinde görmek için tıklayınız.