En 1958, se proyectó un edificio de oficinas para las empresas ferroviarias entre la Grand Central Terminal y el New York Central Building hoy llamado Helmsley Building. El proyecto, conocido como Grand Central City, fue encargado a los arquitectos Emery Roth & Sons. El primer diseño fue descartado por resultar demasiado modesto y se pidió la asistencia de los arquitectos Pietro Belluschi y Walter Gropius. En Febrero de 1959, se presentó un nuevo diseño del edificio con forma octogonal y un estilo arquitectónico derivado del modernismo llamado Brutalismo.
Cuando se inauguró el edificio el 7 de Marzo de 1963, se convirtió con 58 plantas y 223.000 metros cuadrados en el edificio de oficinas más grande del mundo. La compañía aérea Pan Am se hizo con el edificio, ocupando una cuarta parte del mismo y renombrándolo como Pan Am Building.
El Pan Am Building disponía de un helipuerto en lo alto del edificio utilizado para el traslado de personas al aeropuerto JFK. El helipuerto fue cerrado el 16 de Mayo de 1977 cuando un helicóptero que intentaba aterrizar volcó en la pista y su rotor salió despedido matando a cuatro personas en el helipuerto y a un peatón cuando el aparato cayó a la calle.
En 1981, Pan Am vendió el edificio por 401 millones de dólares a la Metropolitan Life Insurance Company. Los logos de Pan Am en lo alto de la fachada se mantuvieron hasta 1992 que fueron cambiados por los actuales de MetLife.
En 2005 el edificio fue vendido por 1.720 millones de dólares a Tishman Speyer Properties aunque las oficinas de la Metropolitan Life Insurance Company continuan en el edificio.
Desde su construcción, el edificio ha sido duramente criticado por ser un obstáculo para la vista a través de Park Avenue, algo que se hubiese evitado con el primer diseño presentado por Emery Roth & Sons.