Semt ismini Sultan Kalavun’un şeyhlerinden Cebe Ali’den (Bazı kaynaklar Cübbe Ali olarak yazar) almaktadır. Aslen Mısırlı olan Cebe Ali Zeyni tarikatından post sahibi olmuş. Fetih döneminde Subaşı olarak İstanbul’a gelmiş 29 Mayıs 1453 günü şehit düşmüştür. Kabri Gül Camii avlusundadır. Cebe Ali sözü halk arasında “Cibali”ye dönüşmüştür.
Fetihten sonra İstanbul’daki bina envanterini çıkartan Dursun Bey, Cebe Ali’nin yeğenidir.
Bizans döneminde buradaki kapının adının “Porta Putea” veya “Porta İspigas” veya “Porta İubalica” olduğu çeşitli kaynaklarda yazmaktadır.
Tiyatrolara konu olan meşhur “Cibali Karakolu” eskiden bu kapının yanında bulunuyordu.