秦朝时期，将台山被称为“秦望山”，秦始皇曾登临此山眺望过钱塘江。

　　吴越时期，将台山曾是吴越王钱镠“讲武”之地，山间“排衙石”上至今仍存其题刻。

　　北宋时期，杭州知州祖无择在将台山上建“介亭”，于此亭可远眺钱塘江和西湖胜景。苏东坡曾与同僚诗友来介亭饮酒赏景，赋诗撰文。又据民间传说，北宋方百花率义军围攻杭州时，曾在将台山安营扎寨，并在山顶平地上调兵点将，故后人称此为“将台山”。

　　南宋时期，将台山是御林军的“殿前司营”亲军驻扎护卫皇城的营盘所在。宋孝宗与后宫妃嫔及宦竖，也常到将台山习武、射箭并检阅兵将。民间俗称“御教场”，也叫“女教场”。

　　明朝时期，将台山上御教场又被称为四顾坪。

　　清朝时期，将台山顶建有“澄观台”，为西湖二十四景之一。

　　近现代作为采石场开采，使得山体遭受破坏，出现大面积裸露石壁，并自北向南形成由高到低的三层台地，每级高差约7-12米。