Экс губернатор Нью-Йорка выступил с предложением об открытии в городе крупной библиотеки. На свой проект Самуэль Тильден завещал все свои сбережения. Свои средства внес и известный промышленник Эндрю Карнеги. Создание библиотеки стало целиком частной инициативой. Действующие библиотеки Джона Астора и библиотека Леннокса были объединены в 1901 году.
Главное здание возведено в самом центре города. Возведение Нью-Йоркской Публичной Библиотеки, строения, являющегося самым крупным мраморным зданием на планете, завершилось в 1910 году. Вход в библиотеку был оформлен двумя мраморными львами, выполненными известным скульптором Эдвардом Поттером. В библиотеке размещено 120 км книжных полок, создана уникальная система доставки книг из подземного помещения в читальный зал, который занимает огромную площадь. Первый читатель библиотеки обратился за книгой российского философа Николая Яковлевича Грота.
Читальный фонд Нью-Йоркской Публичной Библиотеки регулярно пополнялся, что привело к расширению подземных хранилищ. С 2007 по 2010 годы здание библиотеки подверглось реконструкции.