Los primeros pobladores de este barrio le dieron ese nombre porque en sus inmediaciones existía una ermita en la que se realizaban retiros espirituales. Pero también porque en el año 1691 el gobernador español don Agustín de Robles construyó una casa a la que denominó El Retiro.
El barrio debe su nombre también, desde 1704, a la Compañía de Francia de Guinea, y posteriormente a la Compañía de Inglaterra Mar del Sur, asientos del mercadeo de esclavos, quienes lo denominaron así porque la Real Cédula que autorizaba sus establecimientos estaba dictada en el Palacio del Buen Retiro, ubicado en Madrid.
La estructura del barrio tiene como centro la Plaza San Martín. Destacan su arboleda, sus veredas y caminos, y su hermosa barranca hacia la Plaza de los Ingleses, en cuyo centro se eleva la Torre homónima.
En la actualidad, Retiro es el centro de la ciudad, concentrando lujosos hoteles y numerosos edificios para oficinas, además de una amplia variedad de restaurantes. Además, su nombre también se relaciona con las gigantescas estaciones de tres líneas de ferrocarril y buses y colectivos sea `para servicios urbanos, interurbanos o de larga distancia, desde el Terminal Terrestre de Retiro.
Hace solo tres décadas se inició la urbanización de la zona denominada Catalinas Norte (comprendida entre las avenidas Córdoba, Eduardo Madero, Leandro N. Alem y la calle San Martín), en la que hoy se erigen edificios inteligentes que aglutinan las oficinas de las más importantes empresas multinacionales que operan en el país.
Algunas residencias tradicionales dignas de destacar son el Kavanagh, de la década del cuarenta, el Plaza Hotel y el Palacio Anchorena (ex edificio de la Cancillería), todos sobre la Plaza San Martín.
El barrio Retiro es un sector muy requerido para alojarse. Actualmente es uno de los barrios más recorridos por los turistas y lugar obligado de compra de artículos de origen regional: preciosas artesanías, cueros, piedras y demás productos autóctonos.