Родился в Ростове-на-Дону. В 1931 году окончил семилетнюю школу. С 1933 по 1935 годы обучался в московском музыкальном техникуме имени Гнесиных, одновременно с 1934 по 1935 гг. - работал скрипачом оркестра Московского художественного рабочего театра. В сентябре 1935 года Каспаров вернулся в Ростов-на-Дону, где продолжал образование в музыкальном училище, которое окончил в 1938 году. С 1940 года, Каспаров - артист государственного симфонического оркестра СССР. С 1941 по 1959 - работал в оркестре государственного академического театра оперы и балета им. Спендиарова в Ереване. Одновременно преподавал в школе-десятилетке им. Чайковского, а затем - в русском педагогическом училище. С 1954 по 1959 годы Каспаров обучался в Ереванской государственной консерватории им. Комитаса, которую окончил по специальности оперно-симфонического дирижирования. С 1959 по 1964 годы работал в Ворошиловградской филармонии в качестве главного дирижера симфонического оркестра. В 1964-1965 годах — дирижер Ереванского оперного театра. С марта 1965 года - дирижер симфонического оркестра Ростовской филармонии. С 1977 года преподавал в Ростовском государственном музыкально-педагогическом институте (профессор). В 1956 г. Каспаров был награжден орденом «Знак Почета», а в 1956 г. – удосвоен звания заслуженного артиста Армянской ССР. Умер в Ростове-на-Дону.