回到上饶的家中以后，娄谅依然足不出户，和弟弟娄谦整日以读书讲学为事，大概这时候开始，“芸阁”逐渐成为他们教授学生的重要场所，由此娄谅的知名度在上饶也越来越高，上饶的前后郡守也都知道他的贤声，对他很是尊敬，并经常偕带幕僚来看望他。而娄谅对郡守们却不登门回谒，只是当郡守们初至上饶上任，或解任离开上饶时，出于礼貌他才会亲往一拜，如此而已，平日里他与官府也没有过多的交往。

娄谅的学术，主敬穷理，即以“收心、放心”为居敬之门，以“何思何虑，勿助勿忘”为居敬要指，这一点是直接继承了朱熹的。他每天早早就起床，一定是深衣幅巾的装束，先拜家祠，然后出御厅事，接受家人及诸生的揖拜，内外肃然，凛若朝廷。即使达官贵人造访，他们也必须整饬襟裾入内，一点也不能够马虎。应接之暇，娄谅即翻阅群书，碰到至言格论，契合于心者，便吟讽不已，定要全部用朱笔圈点，这样读书常常至深夜，然后才入内寝，不尝有顷刻的懈怠。他曾说过孔子佩象环是取中虚之义，因此他也置一象环佩带着，日不去身，表示中虚无我。他在芸阁讲学的时候，常常是议论慷慨，善发人智，听者忘倦。还有一些有志于道者，常常登门拜访，请教各种问题，至于终日不忍离去，这时候，他的芸阁一定是很热闹的。

上饶城水南街劳动路娄家巷30号的“理学旧第”娄谅虽退老于上饶家中，然爱君忧国却很诚切。每读邸报，见朝廷行一善政，用一善人，则喜形于色；若事有不公，且影响到朝廷的政治清明，则忧动于颜，决不啻于身立其朝，目击其弊。宪宗驾崩时，娄谅闻之而恸，朝夕哭临，垂涕不已。对于地方政治，他也非常关心，遇到郡邑政令有不便于百姓的时候，他一定要向官府提出意见并极力制止;若遇到旱潦蝗虫等自然灾害，娄谅则忧叹不已，并常常替民向苍天祈祷。如果发现乡邻迎神、搬戏、划船及建斋醮之类，他一定要站出来痛加禁止，即使得罪士大夫也在所不顾，以正风俗为己任。他的学生夏尚朴说他气象岩岩，大家都以为是当地灵山降神所致。

娄谅68岁，王阳明18岁，这年的冬天，王阳明因送新婚的夫人诸氏，从南昌归浙江余姚，舟至广信，拜谒娄谅，并从之问学。娄谅授之以宋儒格物之学，谓“圣人必可学而至”，王阳明深契之，因此始慕圣学。黄宗羲《明儒学案》说“姚江之学，先生为发端也”，所谓“姚江之学”，即王阳明尔后所发展出的心学。

闻灵山白云峰崩落数十丈，娄谅叹曰：“吾殆死矣!”于是，紧急召弟子们永诀，并命门人蔡登查阅周敦颐、程颢去世的日期，说：“元公、纯公皆暑月而卒，予何憾。”逝世于上饶的家中，年七十。他死后，友人张东白为其墓作铭云：“灵峰信之主山，哲人之萎，岂偶然哉!”传说娄谅死的时候，时属盛暑忽阴凉数日，飒然如秋，待殓事已毕，日出如故，这大概便是人们常说的“天人感应”。