La chiesa con l’annesso convento fu eretta sul finire del XV secolo dai Frati Osservanti, un ordine francescano nato dopo le varie scissioni interne ai seguaci del Poverello d’Assisi. Il complesso fu intitolato a Santa Maria delle Grazie e fu edificato su un luogo fuori dalla cinta muraria e detto anticamente Santo Stefano. Dopo appena un secolo, fra il 1594 e il 1599, il convento battezzato dal popolo Santo Stefano, dietro un’autorizzazione papale passò dalla gestione degli Osservanti ai Minori Riformati (anch’essi di ispirazione francescana). Questi ultimi vi rimassero fino alla soppressione post-unitaria del 1866. Verso la fine del XIX secolo la chiesa cambiò intestazione, assumendo quella attuale di Sant’Antonio da Padova.
Nella prima metà del XVIII secolo furono affrescate le pareti del chiostro da pittori rimasti anonimi. Attualmente si conservano solo gli affreschi del lato sinistro del chiostro, in parte di difficile lettura, in altri casi purtroppo gravemente danneggiati. Su alcune lunette si intravedono scene della Vita di San Francesco d’Assisi, mentre sui peducci sono riportati i volti di alcuni frati santi e beati dell’ordine. Interessante è la terza lunetta che propone i santi patroni della città: San Martino e Santa Comasia, in primo piano, e Sant’Antonio da Padova (nominato santo patrono meno importante della città nel 1531, in seguito all'intervento miracoloso durante l’assedio leggendario dei cappelletti), in alto al centro. Sullo sfondo è raffigurata la città di Martina Franca riconoscibilissima dall’Arco della Porta di Santo Stefano e dall’elevata Torre Campanaria a sinistra. Di grande interesse è anche la maestosa scultura della Madonna, databile nel XVI secolo; che si conserva in una nicchia in prossimità dell’ingresso del convento.