Семья Рубинштейн по отцовской линии вела свой род из Бессарабии, по материнской (Левенштейн) — из Восточной Пруссии. Как купцу первой гильдии, отцу Рубинштейна (1807—1847) было разрешено покинуть черту оседлости, и вскоре семья поселилась в Москве (1832), где открыла небольшую фабрику.

Первые уроки игры на фортепиано Рубинштейн получил от матери, а в возрасте семи лет стал учеником французского пианиста Александра Виллуана. Уже в 1839 году Рубинштейн впервые выступил на публике, а вскоре в сопровождении Виллуана отправился в большой концертный тур по Европе. Он играл в Париже, где познакомился с Фредериком Шопеном и Ференцем Листом, в Лондоне был тепло принят королевой Викторией. На обратном пути Виллуан и Рубинштейн посетили с концертами Норвегию, Швецию, Германию и Австрию.

Проведя некоторое время в России, в 1844 году Рубинштейн вместе с матерью и младшим братом Николаем переселился в Берлин, где начал заниматься теорией музыки у Зигфрида Дена, который за несколько лет до того был учителем Михаила Глинки. В Берлине же сформировались творческие контакты Рубинштейна с Феликсом Мендельсоном и Джакомо Мейербером. В 1846 году умирает его отец, и мать вместе с Николаем возвращаются в Россию, а Антон переезжает в Вену, где зарабатывает на жизнь частными уроками.

По возвращении в Россию зимой 1849 года, благодаря покровительству великой княгини Елены Павловны, Рубинштейн смог обосноваться в Санкт-Петербурге и заняться творчеством — дирижированием и композицией. Он также нередко выступает как пианист при дворе, имея большой успех у членов императорской семьи и лично у императора Николая I. В 1850 году появляется первая крупная опера композитора — «Дмитрий Донской», затем он пишет три одноактных оперы на сюжеты народностей России: «Месть» («Хаджи-Абрек»), «Сибирские охотники», «Фомка-дурачок».

В 1854 году Рубинштейн предпринимает новое концертное путешествие по Европе, имея огромный успех, зиму 1856—1857 проводит в Ницце, где у него возникают мысли о развитии музыкального образования в России. Вернувшись в Петербург, вновь при поддержке Елены Павловны в 1859 году музыкант добивается учреждения Русского музыкального общества, в концертах которого сам выступает как дирижер. Вскоре при обществе были открыты музыкальные классы, в 1862 году превращенные в первую российскую консерваторию. Рубинштейн стал первым ее директором и профессором по классу фортепиано. Через пять лет он покинул свой пост и отправился за границу концертировать. В сезоне 1871—1872 годов он руководил филармоническими концертами в Вене.

На следующий год состоялись триумфальные гастроли Рубинштейна в США вместе со скрипачом Генриком Венявским, и в течение ближайших пятнадцати лет он был одним из самых востребованных пианистов в мире, а также часто выступал как дирижер.

Вернувшись в Россию, Рубинштейн поселился на своей вилле в Петергофе, занявшись композицией. В сезоне 1882—1883 годов он вновь встал за пульт симфонических концертов Русского музыкального общества, а в 1887−м снова возглавил консерваторию. В 1885—1886 годах он дал серию «Исторических концертов» в Петербурге, Москве, Вене, Берлине, Лондоне, Париже, Лейпциге, Дрездене и Брюсселе, исполнив практически весь существовавший сольный репертуар для фортепиано от Куперена до современных ему русских композиторов.

Умер в 1894 году в Петергофе. Был похоронен на Никольском кладбище Александро-Невской лавры, позже перезахоронен в Некрополе мастеров искусств.

Именем Рубинштейна названа бывшая Троицкая улица, на которой композитор жил с 1887 по 1891 год. На доме № 38 установлена мемориальная доска.