Многие годы Центральный военно-морской музей и Центральная военно-морская библиотека были соседями. До 1940 года эти родственные учреждения находились в Адмиралтействе, затем переехали на Васильевский остров в здание Фондовой Биржи. В годы Великой Отечественной войны часть библиотечного фонда, как и музейного, была эвакуирована в Ульяновск, часть осталась в подвале Биржи. В 1957 г. библиотеке передали помещения в Михайловском замке. Это во многом определило создание библиотеки в музее, которая традиционно является научной по происхождению и предназначению. Функционал библиотеки не только комплектование и хранение, в том числе исторически ценных фондов, но также научное изучение.
Одним из важных направлений работы военной научной библиотеки ЦВММ является информационная поддержка в любых аспектах научно-исследовательской работы. Книжный фонд используется научным персоналом музея при подготовке выставок, публикаций, различных справок, атрибуции предметов. Ежедневно персонал библиотеки выполняет по 1–2 запроса от научных сотрудников музея. Работа с книжным фондом доступна и сторонним исследователям. Для этого необходимо отправить на имя руководства музея заявление (ходатайство) и получить разрешение на посещение.
После переезда музея в здание Крюковских казарм, в военной научной библиотеке было установлено новое оборудование, соответствующее современным стандартам. Для обеспечения сохранности в фонде редкой книги есть стационарные и передвижные стеллажи. Газетные подшивки хранятся в специальных металлических выдвижных драйверах.
Фонд библиотеки сегодня составляет более 50 000 единиц хранения и состоит из книг основного фонда, редкой книги и книг на иностранных языках. Среди изданий много справочной литературы (энциклопедии, справочники, словари), собрания сочинений, научно-популярная и художественная литература по военно-морской тематике. Среди изданий есть настоящие раритеты XVIII–XIX вв. Особо следует выделить книги петровской эпохи. В их числе «Генеральные сигналы, надзираемые во флоте, во время бою. Напечатаны повелением царского величества. На российском и галанском языке», 1716 года издания. С 1848 года в России издается главный морской журнал — «Морской сборник». Он является старейшим в мире по военно-морской тематике и важным источником в изучении истории Российского флота. В военно-научной библиотеке музея хранится практически полное его собрание.