El financiero John Pierpont Morgan era un gran aficionado a la literatura que desde 1890 coleccionó todo tipo de documentos, manuscritos y libros raros. En 1906 encargó la construcción al arquitecto Charles McKim, de un edificio para albergar su colección al lado de su residencia. Tras la muerte de Pierpont Morgan, su hijo J.P. Morgan Jr. consideró que la colección de su padre era demasiado importante como para seguir en manos privadas, y en 1920 creó una institución para su mantenimiento convirtiéndola en biblioteca pública.
La residencia de los Morgan y la biblioteca, forman un museo que contiene una de las colecciones más importantes del mundo de obras literarias, pinturas y manuscritos de todas las épocas, en exposiciones permanentes y temporales.