Las tierras que hoy conforman el barrio de Retiro fueron originalmente un descampado que se encontraba lejos del lugar de fundación de la Buenos Aires de Juan de Garay (en 1580), en la actual Plaza de Mayo. Sobre el origen de su nombre, existen versiones variadas que no son fáciles de respaldar con documentos, debido a que se remontan algunas a la primera fundación de la ciudad, en 1536. Según esta hipótesis, con el adelantado Pedro de Mendoza llegó un criminal llamado Sebastián Gómez, quien luego de cometer un asesinato terminó retirándose a un paraje solitario, adonde construyó una ermita y se redimió entregándose a la religión y emplazando una gran cruz que dominó el área. Así, al llegar Garay a fundar nuevamente la ciudad, cincuenta años después, su expedición habría encontrado la cruz en pie.

Otra versión, sostiene que la cruz fue puesta por la expedición de Garay para marcar el límite del ejido de la nueva ciudad, dominando un paisaje desolado. Lo cierto es que la cruz figura documentalmente en el plano de la mensura de Buenos Aires realizado en 1608, con el nombre de Ermita de San Sebastián, coincidiendo con el del presunto ermitaño de la expedición de Mendoza. Allí, se habrían realizado retiros espirituales, y por eso el nombre del barrio. En 1678, el Gobernador José de Garro propuso mudar el Fuerte de la ciudad a la ubicación privilegiada que tenía la barranca de la ermita sobre el río.
Como tercer hecho histórico relacionado con el origen del nombre, se dio que en 1692 el gobernador Agustín de Robles compró 300 varas cuadradas en la meseta, en el lugar de la actual Plaza San Martín. Allí, construyó su quinta de veraneo El Retiro, que se destacó entre la humildad que entonces tenían las casas del poblado, teniendo 39 habitaciones y 3 salas con techos de madera de cedro, con un total de 51 puertas, 12 escaleras, 7 ventanas con rejas de hierro y dependencias anexas, pero la prohibición que pendía sobre los gobernadores para adquirir tierras en el territorio que gobernaban y en una maniobra para burlar la ley imperante parte de este terreno fue cedido en 1692 por el gobernador Robles al vecino Miguel de Riglos.

Al final del mandato de Robles cede la casa a Riglos y ya en 1703, ya esta casona era propiedad del comerciante Miguel de Riglos, que tenía su vivienda junto al Cabildo porteño, así el paraje pasó a llamarse la Quinta de Riglos. Riglos alquiló la casa a la Compañía de Guinea, encargada de traficar esclavos negros en este territorio, la casa la utilizaban para alojar a los esclavos mientras se recuperaban del terrible viaje desde su Africa natal. En 1706 la compañía se fue a otro lugar.  La Casa fue comprada en 1713, en estado de abandono, por la South Sea Company, cuando el Tratado de Utrech permitió a Inglaterra introducir esclavos negros, y fue usada para alojarlos en ella. También se construyó una fortificación llamada La Batería, en la actual plaza Fuerza Aérea Argentina, para la defensa contra piratas y corsarios. 

En 1739, la quinta fue expropiada, y en 1761 fue destinada a cuartel del regimiento de Dragones, de forma que diez años después las construcciones se encontraban muy deterioradas. En 1787, el superintendente Francisco de Paula Sanz permitía nuevamente el establecimiento de una compañía esclavista. En 1800, luego de la demolición de la primera Plaza de Toros que tuvo Buenos Aires (se encontraba en las actuales avenidas 9 de Julio y Belgrano), el Brigadier José Custodio de Saa y Faría proyectó una nueva Plaza de Toros, que ocupó el lugar de la ruinosa Quinta del Retiro. Con capacidad para 10 000 espectadores, tenía influencias de la arquitectura morisca, y quedó retratada en una acuarela de 1817. La distancia que existía entre el paraje del Retiro y el centro de Buenos Aires llevó a empedrar la actual calle Florida, que fue así la primera pavimentada de la ciudad.

Más tarde se edificó aquí la Plaza de Toros, de forma poligonal y con capacidad para 10.000 espectadores. Cuando, en 1806, se produjo la Primera Invasión Inglesa, las tropas de la Reconquista, organizadas por Santiago de Liniers, llegaron desde Tigre, siguiendo la Ribera, entrando por la Chacarita y se enfrentaron aquí a las fuerzas inglesas del Grl. Beresford. En 1807, ante la Segunda Invasión Inglesa al mando de Whitelocke, fueron llegando desde las actuales Callao y Santa Fe hasta Marcelo T de Alvear, encontrando densa metralla y dura resistencia. Otro Regimiento, desde la Iglesia del Socorro, llegó bombardeando la Plaza de Toros; 2.500 hombres fueron resistidos, generalizándose una lucha en las calles de la ciudad, desde aquí hasta la Plaza de Mayo. Asediados por la heroica resistencia, se produjo la victoria. Así, se llamó al lugar Campo de la Gloria.

Luego de la batalla fue ordenado que el paraje se llamara Campo de la Gloria. En esos años, dragones, húsares y finalmente en 1812 José de San Martín pidió y obtuvo el cuartel de Retiro, que estaba ubicado en la actual plaza homónima y fue allí donde entrenó a sus granaderos . En 1822, la deteriorada Plaza de Toros fue demolida, y aprovechando sus materiales se construyó allí el Cuartel de Artillería, con talleres para la maestranza, dividida en las secciones de carpintería y herrería, depósitos de pólvora y almacenes de materiales. Se encontraba paralelo a la actual calle Arenales, sobre la actual Plaza San Martín. Así, se nombró al lugar Campo de Marte. Luego de 1852, las tropas de Justo José de Urquiza utilizaron los cuarteles.

En 1856 la compañía Jannet Hnos. instaló en la barranca la Compañía Primitiva de Gas, que proveyó con tuberías de loza a la ciudad de este insumo utilizado para el alumbrado público. Un hecho trágico sucedió en 1864, cuando el arsenal del Parque de Artillería estalló, dañando gravemente el cuartel. Sin embargo, el edificio fue reconstruido y se le agregó un primer piso, sobreviviendo hasta 1891. En ese año, fue demolido para instalar en su lugar el Pabellón Argentino, una lujosa estructura de hierro y vidrio diseñada por el francés Albert Ballú para alojar a la representación argentina en la Exposición Universal de París de 1889. Desmontado, trasladado en barco a Buenos Aires y reconstruido en la Plaza San Martín, el fastuoso pabellón fue Museo de Bellas Artes hasta 1933, y entonces fue demolido definitivamente para extender la plaza hasta la Avenida Leandro Alem.

Por otro lado, en 1857 se había autorizado la construcción de un ferrocarril que uniera Buenos Aires con la localidad de San Fernando. Inaugurado por el presidente Mitre en 1862, el Ferrocarril del Norte partía de una rústica estación en el Retiro, y un año después fue extendido hasta la nueva estación Central, junto a la futura Casa Rosada.  En 1860, el ingeniero José Canale diseñó el parquizamiento del Campo de Marte, que en 1862 recibió la primera estatua ecuestre de Buenos Aires, dedicada al General San Martín. En 1866, Emilio Bieckert iniciaba la construcción de su fábrica de cerveza, en la actual calle Esmeralda, con altas chimeneas que se veían desde la costa.

Durante las siguientes décadas, el barrio comenzó a crecer, recibiendo un especial impulso luego de la epidemia de fiebre amarilla de 1871, que impulsó a las familias tradicionales a abandonar sus casas en el centro de la ciudad para instalarse en sus quintas de las afueras, adonde más tarde comenzarían a construir residencias cada vez más lujosas, al tiempo que aumentaban sus fortunas gracias a la relación comercial que la Argentina generó con Gran Bretaña. En 1874, la plaza fue remodelada por Eugéne Courtois y en 1878 se le impuso su nombre actual, en homenaje al General José de San Martín. La plaza fue ampliada en 1933, absorbiendo la antigua barranca y uniéndose con la Plaza Fuerza Aérea Argentina (antigua Plaza Británica). En 1916, se construyó la actual Torre Monumental, donada por el Reino de Gran Bretaña por los cien años de la declaración de la Independencia argentina.

El 17 de marzo de 1992 se produjo el atentado a la Embajada de Israel, destruida por una bomba. Actualmente, el terreno donde se emplazaba la embajada ha sido convertido en plaza.