1947年，考入黑龙江省齐齐哈尔市文工团当演员。 1949年，随团调入东北电影制片厂演电影，正式开始了电影演员的生涯。1953年，调到北京电影制片厂演员剧团工作。 1959年，出演电影《矿灯》；同年在红色电影《青春之歌》中饰演李芝庭；后又在红色电影《粮食》中饰演角色清水。1960年，因在电影《红旗谱》中饰演冯兰池而被人所识。 1963年，出演电影《小兵张嘎》，饰演反派角色龟田；同年又参与电影《红河激浪》的拍摄。 1964年，出演于学伟导演的电影《小二黑结婚》，同年又出演黑白电影《青年鲁班》。 1974年，出演北京电影制片厂摄制的影片《南征北战》，饰演敌参谋长。 1975年，在电影《决裂》中饰演孙教授。 1976年，出演电影《金光大道》；同年又参与《雁鸣湖畔》的拍摄。 1980年，与刘晓庆合作，出演了电影《小花》；同年又在电影《戴手铐的旅客》中饰演葛世荃；后又参与电影《柳暗花明》的拍摄，饰演张振中。 1981年，出演电影《新兵马强》；同年又在电影《玉碎宫倾》中饰演干珠尔王；后又出演电影《智截玉香笼》。 1983年，和李光合作，出演了戏剧作品《虎口遐想》；同年参演电影《开拓者的足迹》；后又在《武林志》中饰演角色梁守仁。 1984年，在电影《街上流行红裙子》中饰演了吹箫老人。 1987年，出演电影《失恋者》；后又在电影《大清炮队》中饰演叶守信。 1992年，在电影《黄飞鸿之三狮王争霸》中饰演角色李鸿章；同年又在电视剧《皇城根儿》中饰演金一趟。 1997年，出演电影《周恩来伟大的朋友》，因而获得中国电影金鸡奖最佳男配角奖；同年执导电视剧《落榜之后》。 1998年，参与戏剧《正方与反方》的拍摄。 2002年，参与电影《活个精神头儿》的拍摄。 2004年，参演电影《我的法兰西岁月》，饰演角色驻法公使；同年又在电影《独自等待》中饰演海涛爷爷；后又出演电视剧《北京我的爱》。 2005年，出演电视剧《离婚官司》。 2006年，出演张建亚的电影《爱情呼叫转移》。2009年，在黄建新执导的电影《建国大业》中扮演文化界代表。2013年，参演王好为导演的电视剧《徐悲鸿》，饰演角色齐白石。 2016年3月4日8点33分，表演艺术家葛存壮因脑梗引发心脏衰竭去逝，享年87岁。