На нужды Консерватории Николай Григорьевич Рубинштейн часто отдавал собственные деньги, а когда их не хватало, не раздумывая брал в долг, расплачиваясь потом гонорарами от своих концертов. На 10-летие Консерватории москвичи подарили музыканту огромный серебряный поднос с грудой рваных бумажек. Это были долговые расписки и векселя Рубинштейна, оплаченные благодарными любителями музыки.
1 сентября 1866 года в доме баронессы Черкасовой на Воздвиженке состоялось торжественное открытие нового учебного заведения. Музыкальная жизнь Московской консерватории началась с исполнения Петром Чайковским на рояле увертюры из оперы Глинки «Руслан и Людмила» и сонаты Бетховена для фортепиано и виолончели, исполненной Николаем Рубинштейном и Бернгардом Косманом.
Директорство Рубинштейн совмещал с должностями преподавателя, дирижера симфонического оркестра и концертирующего пианиста. Его отношение к Консерватории как к святыне заложило духовные основы музыкального образования в России. В первые годы работы в Консерватории было четыре профессора фортепиано и два профессора скрипки; если учащиеся не имели хорошей подготовки, то занимались с адъюнктами. Студент сам выбирал себе класс одного из профессоров, под руководством которого проходил весь курс обучения. А учиться было у кого, ведь занятия вели лучшие музыканты того времени: Петр Чайковский, Иосиф Венявский, Фердинанд Лауб, Людвиг Минкус, Александра Александрова-Кочетова...
Через несколько лет здание на Воздвиженке стало тесным. Консерватория, в которой в 1868 году обучались 184 студента, арендовала старинное здание семьи Воронцовых на Большой Никитской улице, а впоследствии приобрела его. Но уже через 15 лет вновь возникла необходимость в расширении. Консерватория нуждалась в собственном концертном зале, да и количество студентов выросло до 500 человек. Автором проекта перестройки дома стал архитектор Василий Загорский. Сохранили лишь фасадную стену главного корпуса с полуротондой на уровне двух нижних этажей, остальное было сломано и выстроено заново. К осени 1897 года Консерватория получила учебные классы, отлично приспособленные для специфики музыкального образования.