宗吾的曾祖，名求枋，性格异常严肃，虽是一个开染店的老板，可是道貌岸然，无人不敬畏他。凡族亲子弟，应衣冠不整者，酒醉者，如果走到他的店门，立即屏气敛容，不敢径过。但他对人并无疾言厉色，仍是具有一副慈祥温和的态度。生平从未作过亏心事，享寿七十岁。临死之前，命家人捧手进巾，自浴其面，帽微不正，手自整理，然后凭几而卒。
宗吾的祖父，名乐山，一生务农，曾耘小菜出售；暇时贩油烛及草鞋，沿街叫卖。身形魁伟，性情朴素。上街担粪，有人和他说话，他必站立对答，粪担在肩上，不知放下。遇狡猾的人，就故意拿他开心，久谈不止，他便左肩换右肩，右肩换左肩，引得满街人捧腹大笑。他于晚饭后便睡，及至家人就寝时，他已睡醒了，以后即不再睡。睡熟时，呼亦不醒，如呼“强盗来了！”即惊然而起。他于晚睡之后，即整理明日应卖小菜，整理完了，便手持一杆，往守菜圃。菜圃临近大路，贼人偷东西从此经过的，往往被他夺下，交还失主，所以贼人非常怕他，常常绕道而行。家中平日是舍不得吃肉的，到了年终，他才割肉十斤，准备腌起。自己持刀修削边角，削下来的约有半斤，便命他的妻子拔萝卜作汤，并切切嘱他：“大的留着出售，小的留着长成，须择一窝双生和破裂不能卖的，才拨来。”他的妻子找遍了圃中，不得一棵，他才忍痛允许拔来使用了。汤热，他亲自持勺，盛入碗内，又倒入锅中，再盛再倒，再倒再盛。他的妻子问道：“你这是干什么呢？”他说：“我想分给家人和工人，苦于不能公平和普遍啊！”这事过于不久，便一病而死。他的妻子割肉一方，献于灵前，一见即痛哭，自语“泪比肉多”！又因痛惜不已，即取他生前所用扁担珍藏起来，并且说：“后世子孙如昌达，常用红绫包裹，悬挂在正堂梁上，永留纪念！”据说这条扁担经他的子孙保留到民国九年，竟被贼人毁了。他的妻子曾氏，是高山寨富家的女儿，出嫁以后，终年陪着丈夫操作，挑水担粪，从无劳怨。有时归宁，看见猫犬剩余的食物，即暗暗想到，我家怎能得到这样的剩饭的食物？宗吾幼时，听到他的父母屡次述及此事，告诫他们兄弟说：“先人这时穷困，这般勤苦，一食之难，竟到如此地步，做儿孙的千万不可忘记啊！”
宗吾的父亲，名高仁，宇静安。他原是在外学生意的自父亲去世后，便为家农，与他的妻子共同操作，终日勤劳的情形，一如他的父母。常常取出他的父亲遗留的扁担，以作警戒，因而家道渐裕，得以购置田产。不幸在四十岁上，因劳致疾，医生警告他说：“赶紧把家务丢了，安心静养，否则非死不可！”他便把家务完全交付给妻子，自己专心养病。三年之后，始得生愈。他在养病期间，才得到看书的机会，先寻到三国演义、列国演义等书来看，以后就看起四书讲章来，他一看再看，于是从中就看出道理来，便是“书即世事，世事即书。”
他后来只看三本书，其他各书全不看了。哪三本书呢？一是《圣谕广训》，这书是乾隆所颁行天下的，后附朱伯卢的治家格言。二是《刿心要览》，还只是看全书中的一本，中载司马光及唐翼修等名言，他呼之为格言书。三是杨继盛参严嵩十恶五好的奏折，后附遗嘱（是椒山赴义前夕，书以训子的，所言皆居家处事之道）。此外还有一本三字经注解，信不常看。就是那三本大书中，还只有前二书是他手不释卷的。临死前数日，犹阅读不忍放下。他常说：“书读那么多干什么。每一书中，自己觉得那一章好，即把他死死记下，照着去行；其余不合心意的，就不必看了。”他最爱高声朗读的，在《圣渝广训》中，有这两句：“人不知孝父母，独不思父母爱子之心乎？”在《刿心要览》中，有这几句：“贫贱生勤俭，勤俭生富贵，富贵生骄奢，骄奢生淫侠，淫佚又生贫贱。”
他读书固然是如此之少，而平生从未写过一个字，尤其稀奇。当宗吾七八岁时，发生一件急事，他父亲叫他拿笔墨来，等他拿来了他父亲又说不写了。但是宗吾偏说：“我的奇怪思想是发源于我父，读书的方式，也取法于我父。”这事，久后当加以证明。
宗吾的父亲自大病之后，即不敢再作笨重的工作，不过偶尔扯扯甘蔗叶，或种胡豆时盖盖灰罢了。但有暇即看书，自然是他心爱的那几本书，每当工人到田里工作时，他便携着烟竿，或火笼（一种烤火炉），挟着书，坐在田边，时而同工人淡天，时而自己看书。他对于农事，异常内行，每晨必巡视垄—次，常说：“我睡在家中，工人在田间工作的情形，我都知道。”当家人从田间归来，他常问：“工作人到何处了？”如果因末留心，对答得不确实，他便笑着道：“不要瞎说！”
他一生注重早起，他说曾读过三个人的治家格言，都是主张早起的。朱伯卢云：“黎明即起”；唐翼修云：“早眠早起，勤理家务”；韩魏公云：“治家早起，百务自然舒展，纵乐夜为，凡事恐有疏虞。”因此，他虽不象他父亲那样早起，但他总是鸡鸣而起，无一日独断，就是隆冬大雪，亦无不如此。
那时还没有火柴，他每晨起来，便用火链敲火石，将灯点燃，遂以木炭生着火笼，温酒独酌，然后口含叶烟，一直坐到天明，这时，便将工人应做的工作，及自己应办的事，一一规划妥当了。所以他处理家务，都是有理有条；工人作工，时间也无片刻浪费。他怕工人起晚了，耽误工作，而每晨呼喊他们，又觉得讨厌；于是他把堂门做得很紧，一见窗上发白色，即把堂门砰一声打开，工人自然也就惊醒了。
他因为爱早起，好思考，所以生平与人交涉，无一次失败。他常说：“凡与人交涉，必须将他如何来，我如何应，四面八方都想过，临到交涉时，任他从哪面来，我都可以应付。”
当他病愈之后，邻近有一宅院想卖给他，他也很想要，但是苦于索价太高，就故意对卖主说：“价钱太高，我买不起。”可是彼此勾心斗角，牵牵连连，总不肯把事放过。邻人怨他当买不买，声言要到官府控告，他也不理；甚至把他家的出路掘了，他就由屋盾绕道而行，也不与人计较。结果，那庭宅院，还是卖绐与他，这时又生种种纠葛，他仍得到最后的胜利。
宗吾对我说，他的七弟世本，便是他父亲与邻人勾心斗角时生的。果然世本为人处世，精干机警，后来他的父母死，哥嫂死，丧事都由他一人包办，办得条条有理。世本还对人说：“我无事，坐起来就打瞌睡；有事办，则精神百倍。这几年，幸而家中死了几个人，还算有事可办，不然这日子就真难过！”于是宗吾又据以证明他的遗传及胎教说，他希望科学研究一下。他的父亲死时，享寿六十九岁，那时已成小康之家了。
广东人的祖宗纪念，乡土观念，以及团结的精神，是很强的。李家自到蜀以来，对于原籍的先人坟墓，和同族的安全，仍是深深地纪念着的。所以他们还派人赴粤扫墓，并慰问同族的父老子弟。在四川更是设有宗祠。宗祠的设立，据说是外省人来川，常被本地人欺凌，于是他们相约，凡广东姓李的人家，成立一会，叫做，“捧捧会”，有来欺凌的，就一齐同他们拚命。以后有人说“捧捧会”是违法的，：才改立宗祠。
广东人入川的，嫁女娶媳，必择广东人，偶尔破例娶本地女子，入门也必须学说广东话。家庭及亲戚往来，更要说广东话，否则说叫卖祖宗。李家自润唐到宗吾一辈，算来已有八世了；但他兄弟姐妹九人，都是和广东人结亲的。有这强烈的民族性格，再加以代代相传的个性血统，假如我们相信遗传学的话，则产生出一位赋有奇怪思想的李宗吾，这是不足为奇的事。