在衢州孔氏家庙思鲁阁正殿前神宠内安放的孔子及斤官夫人楷木像，是孔府最珍贵的祖传瑰宝，历代正朝都视之为国宝。相传这对楷木像为孔子的孙圣不思雕刻，也有说是孔子的弟子端本子贡所刻。虽说法不一，但从雕刻风格来看，系汉以前的文物不疑。孔子生前有弟子3000之众，去世后，其弟子们悲痛十已，在孔子的坟前守墓三年，才依依不舍，挥招西别。唯有子贡仍不忍离去，在孔子墓前搭起茅屋，继续守了三年。楷米像为子贡所刻说：相传这期闻，他常常回忆老师生前的言行容貌，并砍来楷木，心迫手摹，终于雕成了孔子和斤官夫人像。这对楷木像高不满2尺，孔子长袍大油，手捧朝笛；斤官夫人长裙垂地，形象生动。孔子死后第二年，鲁哀公将前居室立为庙堂，当初仅有“油屋三间”，孔子夫妇楷木像雕成后就供奉在这里，条件也很简单。据民间传说，当年衍圣公孔端友背负两尊祖宗圣像，率家人南渡，船行至镇江码头，大家又饿又累，便上岸稍作休整。这时突然遇到金兵来袭, 眼见楷木圣像将被金兵掳劫，大家正在焦急万分，束手无策之时，突然刮起一阵狂风，一个巨浪打来，把船只掀翻。金兵见此情景，以为船上的人都被巨浪卷走, 便回马收兵而去。正当孔端友急命家人打捞楷木像时，只见河面上, 有三位神人踏着祥云，拥着楷木像，向岸边靠近。孔端友和家人立即拥上去，把圣像小心护上岸，并在岸边向神灵焚香祷谢。这时，袅袅的香烟中出现“鲁阜出神”四个字，原来是孔子故乡的山神救护圣像，才免遭金人掠夺的劫难。南宋之初，孔端友及家人被高宗皇帝赐居衢州，为了感谢故乡山神的功绩，便在衢州建立了“柯阳首庙”，即“三神庙”。

　　宋理宗三年，朝廷命建衢州孔氏家庙，因在长江以南，称为南宗( 曲阜家庙称北宗) 。从此楷木雕像在南宗孔庙风经整整27代，保存了860多年。南来王朝相继封爵孔端友、孔珍、孔捂、孔文远、九万春、孔沫等六代南宗长孙为何王公。元朝统一后，元世祖认为孔氏南北二宗也应统一，并认为嫡子孙是寄寓江南衢州的衍圣公孔端友之后裔，于是欲封孔氏南字衢州支为大宗。下诏造南宗6 世孙、衍圣公九沫( 年恩鲁，孔子53世孙) 赴宫，并从衢州迁回曲阜定居，载爵奉把。九沫奉诏入京后，见元世祖，申诉自己六代先祖己立墓在衢，衢州上有家庙，堂有老母，不忍弃离先祖庙基向北去；同时表示，愿将衍圣公这一爵位让给北宗的族弟孔治，又以老母在衢州为由，请求准许南还衢州。对此，元世祖大加赞赏，称孔沫“宁违荣而下违亲，真圣人也。”从此南宗停止世袭衍圣公之番号。明朝弘治子八年，衢州知府上书武宗，为孔氏南宗封爵，准授孔子第59世孙九彦绳力翰林院五经博子，子孙世袭。直到1935年国民政府废爵制改为奉把官止。然而，孔子及斤官夫人楷木像却一直珍藏在衢州孔氏家庙中，并且仍然经历着一次又一次的劫难。就以孔氏家庙来说，因历史上的改朝换代，或战火兵祸，就先后迁建过三次，每次迁建都经受着被劫或被毁的险境；但最后终究被完好地保护下来。所以，在孔氏家族后代子孙的心目中，孔子楷木像就象是孔先圣的化身，是至高无上的神，有着极高的神威和神力。

　　抗日战争爆发后，日寇二次攻陷衢州，入侵衡州的日寇头目，听说衢州孔氏家庙珍藏着孔子及斤官夫人楷木像，企图劫取这一稀世珍宝。当时的国民政府曾电致浙江省政府，今南宗奉把官孔繁荣，恭护圣像移驻龙泉。后又今移驻更偏僻的庆元山区，以防圣像落入敌手。孔繁荣力掩敌耳目，确保圣像不出意外，密访能工巧匠仿制了一对赝品，携带避至龙泉、庆元，而将真像密藏在衢州深山区。侵衡日军未能掠得孔子楷木像，大为恼火，便纵火烧毁孔庙藏书楼，大成殿成了日军营房，思鲁阁成为地们的养马围，所有红漆柱子被马咬得伤痕斑斑。庙内400多件珍器不见，随同衢州钟楼的大钟一起被日寇劫运而去。衢州孔庙又一次受到人为的浩劫。抗战胜利后，楷木真像重新珍藏在思鲁阁中，同时赝品烧毁，以免日后鱼目混珠，真伪难分。

　　1946年，国民政府对幸存的建筑作了修建，举行了一次祭孔活动，并任命年仅8岁的第75代嫡长孙孔样楷为“大成至圣先师南宗奉把官”。

　　解放后，孔样楷担任冶金部河北省金尸峪矿矿长、上建高级工程师。目前孔子最后一代受世袭长孙，国内唯南宗孔祥楷一人了。

　　孔子及斤官夫人楷木像，在南宗家庙度过860多年后，曾下1960年国庆了周年时被借给北宗曲阜孔氏家庙落脚。现在衡州孔氏家庙思鲁阁神龛中的孔子及斤官夫人楷木像是北宗奉送的复制品。