Родился в селе Выхватинец Подольской губернии (Молдавская Республика). Вскоре семья переезжает в Москву. В пятилетнем возрасте под руководством матери начал учиться игре на фортепиано, в дальнейшем его обучал известный педагог А. Виллуан. В девять лет Рубинштейн дал свой первый публичный концерт. С 1840 по 1843 гг. мальчик вместе с Виллуаном совершает концертное турне по Западной Европе. С 1844 по 1846 гг. в Берлине Рубинштейн берет уроки музыки у З. Дена, вскоре приезжает в Петербург. В 1850 году он пишет свою первую оперу "Куликовская битва". По инициативе Рубинштейна и при его непосредственном участии в Петербурге организуются Русское музыкальное общество (1859) и первая в России консерватория (1862). До 1867 года он - ее директор и преподаватель. С 1872 по 1873 гг. Рубинштейн выступает в США, заработанные деньги он передает на организацию первых в мире международных музыкальных конкурсов. С 1887 по 1891 гг. - снова директор Петербургской консерватории и профессор по классу фортепиано. Скончался в Петербурге.