Kada se pogled despota Đurđa zaustavio na Smederevu, smeštenom na granici Srbije prema Ugarskoj, da bi tu izgradio utvrđeni dvor, mesto je bilo poznati trgovački centar. Njemu je Đurađ dodao svojstva vojničkog, političkog i duhovnog centra.
Prirodni ugoa ušća Jezave u Dunav odgovarao je strategijskim zahtevima utvrđenja. Da bi se pojačala brana vodom, prokopana su dva široka i duboka kanala kojim su bili opasani Mali grad i Veliki grad sa strane koja nije bila zaštićena rekama. Tako da se tvrđava nalazila na ostrvu, što je bilo značajno za tadašnju odbranu.
Jedni izvori tvrde da je Smederevo podignuto sa odobrenjem sultana, dok iz drugih izlazi da sultan nije znao za zidanje tvrđave. Mogu se pronaći podrobniji podaci koji potvrđuju i jednu i drugu teoriju.
Prvo je podignut Mali grad na ušću Jezave u Dunav. U tom trouglu, bio je smešten dvor, sala za prijeme, kapela, prostorija za despota, zgrada za porodicu, pratnju i stražu.
Kod dodavanja velikog grada, despot je i dalje zadržao oblik trougla, mada nepravilnog oblika. Veliki grad ima 19 kula različitog oblika, dok Mali grad ima četiri kule koje razdvajaju Veliki grad. Turci su 1480. godine dodali tri topovske kule na uglovima tvrđave, a četvrtu na ulaznoj kapiji iz varoši.
Tu je i donžon, poslednja odbrana. On ima zidove debele preko četiri metra.
Unutrašnjost tvrđave, osobito Veliki grad, sakrivao je veliki broj gusto naseljenih kuća od drveta i bondruka. O crkvi koja se nalazila u Velikom gradu ne postoje podaci.
