Родился в Ардвине (Турция). Во время Первой мировой войны Яков Зарубян вместе с семьей переехал в Россию. С 1925 по 1941 гг. работал рабочим на заводе в Харькове. В 1932 г. вступил в Коммунистическую партию и начал работать в газете «Харьковский пролетарий». С 1939 г. – секретарь парткома Харьковскоого завода, в октябре 1940 г. Зарубян избирается секретарем райкома по кадрам крупнейшего в Харькове промышленного Сталинского района. Решением ЦК ВКП(б) от 1949 г. Зарубян направляется в распоряжение ЦК КП(б) Армении. С 1949 по 1950 гг. – зав. отделом административных органов ЦК, с 1950 по 1952 гг. - второй секретарь Ереванского горкома партии, с 1952 по 1953 гг. - заместитель министра госбезопасности Армянской ССР по кадрам, в 1953 по 1960 гг. был на различных руководящих должностях, а с 1960 по 1966 гг. - первый секретарь ЦК КП Армении. В феврале 1966 г. Яков Зарубян переезжает в Москву и назначается на должность заместителя министра электротехнической промышленности СССР до 1980 года. Яков Зарубян был награжден многочисленными орденами и медалями. Умер в Москве.