桓車騎在荊州，張玄為侍中，使至江陵，路經陽岐村，俄見壹人，持半小籠生魚，徑來造船雲：“有魚，欲寄作膾。”張乃維舟而納之。問其姓字，稱是劉遺民。張素聞其名，大相忻待。劉既知張銜命，問：“謝安、王文度並佳不？”張甚欲話言，劉了無停意。既進膾，便去，雲：“向得此魚，觀君船上當有膾具，是故來耳。”於是便去。張乃追至劉家，為設酒，殊不清旨。張高其人，不得已而飲之。方共對飲，劉便先起，雲：“今正伐荻，不宜久廢。”張亦無以留之。

　　祀乎明堂，所以教诸侯之孝也；食三老五更于大学，所以教诸侯之弟也。祀先贤于西学，所以教诸侯之德也；耕藉，所以教诸侯之养也；朝觐，所以教诸侯之臣也。五者，天下之大教也。食三老五更于大学，天子袒而割牲，执酱而馈，执爵而酳，冕而揔干，所以教诸侯之弟也。是故，乡里有齿，而老穷不遗，强不犯弱，众不暴寡，此由大学来者也。天子设四学，当入学，而大子齿。天子巡守，诸侯待于竟。天子先见百年者。八、十九十者东行，西行者弗敢过；西行，东行者弗敢过。欲言政者，君就之可也。壹命齿于乡里，再命齿于族，三命不齿；族有七十者，弗敢先。七十者，不有大故不入朝；若有大故而入，君必与之揖让，而后及爵者。天子有善，让德于天；诸侯有善，归诸天子；卿大夫有善，荐于诸侯；士、庶人有善，本诸父母，存诸长老；禄爵庆赏，成诸宗庙；所以示顺也。昔者，圣人建阴阳天地之情，立以为《易》。易抱龟南面，天子卷冕北面，虽有明知之心，必进断其志焉。示不敢专，以尊天也。善则称人，过则称己。教不伐以尊贤也。孝子将祭祀，必有齐庄之心以虑事，以具服物，以修宫室，以治百事。及祭之日，颜色必温，行必恐，如惧不及爱然。其奠之也，容貌必温，身必诎，如语焉而未之然。宿者皆出，其立卑静以正，如将弗见然。及祭之后，陶陶遂遂，如将复入然。是故，悫善不违身，耳目不违心，思虑不违亲。结诸心，形诸色，而术省之--孝子之志也。建国之神位：右社稷，而左宗庙。

　　謝公聞羊綏佳，致意令來，終不肯詣。後綏為太學博士，因事見謝公，公即取以為主簿。