La prima notizia storica relativa alla presenza dei Carmelitani a Conversano risale al 1617: si tratta di un atto notarile rogato nel chiostro del convento.
Il primo nucleo conventuale era intitolato a San Leonardo ed era adiacente ad una preesistente chiesa rurale, demolita per ampliare il monastero e la piazza antistante. Sono tuttavia ancora parzialmente visibili, nel chiostro, le tracce di questa costruzione. Dal 1625 al 1636 sono documentate varie donazioni di beni patrimoniali che permisero alla comunità carmelitana di crescere. Tuttavia nel 1652 l'autorità ecclesiastica, su disposizioni venute dalla sede pontificia, ordinò per un certo tempo la chiusura del convento conversanese a causa del suo scarso numero di monaci. È probabile che per questa ragione i Carmelitani abbiano chiesto il sostegno della famiglia comitale di Conversano, i conti Acquaviva, sensibili nei confronti degli Ordini religiosi presenti sul territorio. In particolare, la contessa Isabella Filomarino, animata da intenti devozionali e da una personale attenzione verso i Carmelitani, sostenne l'Ordine. Infatti, pur attraversando un difficile momento politico, gli Acquaviva decisero di appoggiare le richieste dei Carmelitani e di finanziare la ricostruzione della chiesa del Carmine, che fu ultimata nel 1662 col concreto aiuto della Filomarino, come si legge nell'iscrizione sul portale d'ingresso.
Finanziando la costruzione della chiesa i conti di Conversano non solo confermavano il loro grande mecenatismo, ma molto probabilmente cercavano anche di valersi dell'aiuto e del prestigio dell'Ordine presso i reali di Spagna.
Isabella Filomarino resse la contea fino alla sua morte nel 1679. I Carmelitani, per onorare la sua memoria, fecero realizzare un ritratto dell'anziana nobildonna in abito da terziaria. In cima al dipinto, conservato nella chiesa, è inserito lo stemma gentilizio mentre, nella parte inferiore, viene ricordato il suo grande mecenatismo.
Architettonicamente la chiesa presenta una facciata piuttosto sobria ed un interno, imbarocchito nel corso degli anni successivi, ricco e sfarzoso.L'ambiente, ad aula unica coperta da volta a botte, presenta lungo i fianchi quattro cappellette per lato, con altari lignei seicenteschi e pregevoli tele dei secoli XVII e XVIII. Sono presenti anche un pulpito e due cantorie in legno dorato. L'altare maggiore, anch'esso ligneo e dorato, è sormontato da grandi colonne tortili, al cui centro campeggia la tela raffigurante la Madonna del Carmine con Santi dell'Ordine carmelitano, opera del pittore napoletano Andrea Malinconico. Alla base, per attestarne la committenza, sono rappresentati gli stemmi degli Acquaviva d'Aragona e dell'Ordine Carmelitano. L'immagine del Padre Eterno con nimbo triangolare e una grande corona a baldacchino sorretta da angeli si stagliano sul monumentale altare.Ai lati dell'altare sono presenti due porte, dalle quali si accede alla retrostante abside, dov'è collocato un elegante coro ligneo intagliato e dipinto della seconda metà del XVIII secolo. Le spalliere recano l'immagine dipinta di un santo o di una santa carmelitani; sulla scaletta centrale è rappresentata, invece, la Madonna.In occasione dei restauri, effettuati nel 1997 dopo una serie di indagini diagnostiche, sono state redatte dall'architetto C. D. Mastronardi numerose tavole che ripercorrono l'evoluzione storica del complesso e che ne rappresentano le condizioni prima nel 1995. Nel 2018, il 21 giugno, è stato restaurato l'organo a canne del 1793, opera attribubile ai De' Simone, per realizzare un desiderio di un giovane musicista, Davide Gaetano D'Accolti, ucciso il 21 febbraio del 2016, a seguito di uno scontro con un uomo sotto l'effetto di sostanze stupefacenti e alcool. Lo strumento è inserito in una cassa contenitiva lignea con prospetto decorato con la tecnica del finto marmo a tempera (volute laterali), a tempera bianca (prospetto), con lacche verdi su foglia d’argento (finti tendaggi) e presenta modanature dorate con foglia d’argento meccata.
L’organo si compone di 25 canne di facciata in stagno disposte in 3 cuspidi (9-7-9) Principale 8’in facciata da Re 2 prime in legno sempre inserite. Ottava 4 prime 6 in legno,XV, XIX, XII, XXVI, XXIX ricostruita secondo lo schema de Simone.
Le canne interne sono in piombo e canne lignee di basseria in abete.
Registri Flauto in ottava, Voce Umana, Contrabassa 16 al pedale.
Effetti speciali: Usignoli.
I registri sono posti a destra dell’organista, a pomello.
2 mantici a cuneo con azionamento manuale ed elettroventilatore.
Ha una tastiera riportata all’originale di 45 note con prima ottava corta e una pedaliera come da originale di 9 nota da Do1 a Do 2.
IL temperamento è mesotonico, Diapason 442 Hertz.
Pressione 49 mm in colonna d’acqua. Il restauro, eseguito dalla bottega organara pisana di Nicola Puccini, è stato possibile grazie al contributo della famiglia di Davide, della Cei, e di diverse persone che hanno voluto così manifestare la loro vicinanza. Da quella data, nella Parrocchia spesso si celebrano i riti con la liturgia organistica e si svolgono concerti. Rituale è l'appuntamento annuale del 21 febbraio, giorno in cui si ricorda l'avvenimento.