1910年12月中，东条英教返回国内时已经声名赫赫，其在对俄战争中的不名誉传闻已经完全被洗刷，国民普遍认为其在巴厘岛上的勇气代表了日本人的道德观。
而在东条于横滨港上岸时，陆军大臣田村先拦住了他，在港口的马车上和其进行了一场单独的谈话。田村大臣给东条的建议就是，回到东京后面对记者的采访不要讲陆军的坏话，而陆军将会提名东条晋升大将。
这显然是一场交易，但东条最后还是接受了，因为他明白自己虽然借助巴厘岛事件获得了一些名声，但想要撼动陆军显然还是不够的，此时的东条已经放弃了从内部改革陆军的念头，所以他接受了和田村大臣达成的交易。
返回东京后的东条英教还是先去拜访了林信义，和其他人相比，此时他更信任林信义，毕竟巴厘岛事件的策划者是林信义而不是其他人，如果没有林信义的谋划，那么即便他进入了新成立的军人道德委员会，想要对军部事务进行干涉，也不会有多少影响力，但是现在他作为日本军人的道德典范，再对军部事务发言，就能引起国民的广泛关注了。
现在东条英教已经和林信义捆绑在了一起，失去了林信义的支持，东条知道自己必然会被军部所敌视，只有在林信义的支持下，他才能真正的领导军人道德委员会，并对军部形成牵制的权力。因此他自然需要知道林信义的想法，才会决定对记者的采访做出什么样的回应。
林信义休假后就住在麻布区永坂町的住宅内，此地的旧地名称之为麻布霞町，听这名字就知道和东京的政治中心霞町相当近了，不过虽然叫麻布霞町，其实是一片农地、杂木林、町屋和下屋敷交错的郊区乡村，明治时代才逐渐变成住宅区。
也正因为如此，林信义购买这里的时候地价并不贵，所以也就买的大了些，将近有1300多坪，不过真正使用起来的建筑面积连十分之一都没有，剩下的地方也只是稍稍清理保持了果林和鱼塘的面貌，并没有做什么园林设计，这使得林信义的住宅更像是农庄，除了主楼采用了西式小楼的设计，和周边的环境有些不协调。
对于文化素养较高的东条英教来说，林信义的品味显然是有些差了，不过在进入了室内后，他倒是认可了林信义在享受上的水准，这间住宅确实极大的照顾了人的生活便利，而不是空有建筑美感，水电等现代设施一应俱全，虽然不符合日本传统，但是把仆人的作用削弱到了最低。
江户时代流传下来的贵族生活，想要舒适就需要大量的仆役来维护自己的需要，而从欧洲传入的贵族生活，其实和江户的传统也没啥区别，大部分家庭事务都是需要专业的仆役而不是家中的主人去完成的，只有美国人才会尽量使用科技产品取代人手，让家庭主妇不依赖仆人的帮助也能完成大部分家务。
当然，在欧洲的贵族眼中，美国人和野蛮人也没啥区别，虽然英国贵族时下流行娶美国百万富翁的继承人，但英国人也毫不掩饰对于美国百万富翁的鄙视，认为这些人就是粗鄙的野蛮人，也就比有色人种强一些。
比如欧洲贵族家庭也用上了唱片机器和电话，但是这种为了提升个人方便的科技，在欧洲贵族家庭中却专门分出了播放唱片和接电话的仆人，科技在贵族家庭中没有表现出节约人力的效果，反而添置了多余的仆人设置。
不过日本人倒是很喜欢这种贵族风范，因此把专职仆人视为了一种进步，家里要是没什么钱，自然是不能弄出许多仆人负责专项事务的，只能一仆多能，于是仆人的多寡也就代表着一个家庭的门第高低了，这种风气极大的带动了明治上层的奢华风。
所以从政界大佬到财阀家族，无不以建设大庭院和雇佣大量仆役来显示自己的财富和地位。这种奢华的上流风气，自然更加引发了底层国民的不满，要知道此时即便是大学毕业生，要是没能考上公务员，也没能进入大企业，就算是地位最高的法律毕业生，在担任律师实习生的期间，也是没法维持自己生活的。
自由民权运动之所以能够引发大量国民的参与，这些受过高等教育的年轻失业者实际上发挥了运动的骨干作用，这也是林信义在推动社会经济变革过程中能够获得社会舆论支持的现实基础。
对外战争带来的荣誉并不能当饭吃，那些国内的知识分子支持战争是因为马关条约带来的巨大收益，但是日俄战争显然打破了他们的幻梦，所以国民对于战争的渴望大大的下降了，对于国内政治经济的变革要求却在不断上升，主要目的就是让藩阀和财阀让出利益，不能只顾自己享受。
林信义虽然只是长野县破落士族出身，但是东条英教却清楚，即便不讲市来木子身后西乡家族的支持，光是东京财阀对于林信义的支持，也可以让林信义将这片地方建设成不错的园林了。林信义的家居生活，显然和其政治上的主张是一致的，就是平民化。
在东条英教观察着林信义的生活时，林信义也了解了东条的来意，他也就坦率的说道：“我主张设立军人道德委员会的目的，就是让内阁稍稍加强一些对于陆海军的管束，否则内阁对于陆海军事务只有协商权而无约束能力。
虽然现在有元老们可以帮助内阁压制陆海军，但是元老们毕竟都老了，元老这个职位今后是否能够保存，新的元老是否有能力压制陆海军，我看都是问题。所以，假如元老故去，或元老无法压制陆海军的局面出现，至少内阁可以通过军人道德委员会和军部进行沟通，迫使军部不至于撇开政府自行其是。
因此，我对于军人道德委员会的看法是，独立于军部和内阁的军队纪律维持机构，但需要和内阁合作才能存在下去。日后或者会取代元老，成为政府和军队的协调机构。
但现在么，军人道德委员会能够生存下来就很不错了。毕竟，军部和元老应该不会想要这样一个分权的机构，而内阁则会想要把军人道德委员会彻底纳入控制，变成内阁的下属机构…”
林信义暗示东条应该尽量让军队道德委员会保持超然地位，而不具备倾向性，这倒是获得了东条的认同，虽然他是做好了准备，接受海军对于军人道德委员会的控制力，但他也很清楚这种行为将会使陆军对军人道德委员会产生对抗情绪，到时这个机构能否存在下去还在未知数。
解决了当前最大的难题，东条英教心头的压力顿时减轻了不少，于是也就开始和林信义闲聊了起来，除了谈及在巴厘岛和青岛的一些琐事外，他对林信义被海军强迫休假一事表示了不满。
林信义倒是没觉得强迫休假对自己有什么坏处，他语气轻松的表示，“其实休假也挺好，我可以在家陪陪木子，顺便还有了更多时间做些其他的事情。”
东条英教以为林信义是心态豁达，他是真的没想过，作为一个海军中杰出的人物，一旦离开军队后还能做什么其他事情，比如他自己被退役后就只能花天酒地了，因此也就没有把话题转到这个方向上。
其实林信义确实趁着休假忙起了别的事情，他趁着不用处理海军事务，开始推动政党的组建。从印度回来之后，他就开始准备组建政党，到了1910年下半年，他觉得时机已经差不多了，因此便正式的展开了组党工作。
此次组织政党，实际上就是在社会主义者及社会改良主义者的联合上建立的政党，在平息了平民新闻社引发的风波后，日本的社会主义者就开始分流了，幸德秋水、片山潜领导的革命派移居中国建立日本社会民主工党，而留在国内的社会主义者则转向了政治改革的社会改良主义。
不过在林信义的安排下，关于社会主义者的监视档案被大量的销毁，所以留在国内的社会主义者没有被内务省打击到彻底放弃公有制经济理论，保留了较多的革命思想。对于国内工业农业的调查，对于千叶县农地改革的宣传和乡村工作，原本松散的社会主义理论研究者，终于逐渐形成了政治上较为一致的组织团体。
林信义在休假期间，和安部矶雄、石川三四郎、木下尚江、横山源之助、岛田三郎等人进行了多次交谈和会议，逐渐达成了建立政党的意愿。
通过林信义联系起来的东京-长野政治、财阀派系，也在林信义的沟通下，决定支持这个新党派的建立。不过林信义拒绝了东京-长野这个成分复杂的政治和财界的联盟整体加入新政党的主张，只接受以个人名义加入新党。
此时的东京-长野政治、财阀派系在众议院内是第三势力，虽然在政治主张上不甚明显，但是在政治势力上已经有了不小的影响力。小川平吉、原嘉道、平沼骐一郎、鸠山和夫、安达峰一郎、若槻礼次郎等人逐渐成为了这一政治派系的核心，他们自然是想要让新党成为本派系的补充，从而进一步加强派系的力量。
但是东京-长野一系借助山本内阁推动的东京及千叶县的城市、工业建设计划势力不断扩大的同时，也逐渐脱离了林信义的控制，平沼骐一郎、鸠山和夫、安达峰一郎、若槻礼次郎都是野心勃勃的官僚和政客，当然不愿意完全受制于一个海军中佐，哪怕林信义在海军中的前途远大。
而林信义也无意去整合东京-长野这一政商团体，毕竟这不过是他用来推动国内经济建设的政治工具，双方只是利益一致下的联盟，谈不上什么共同的政治信仰。这一政商团体中的许多人对国内的改革并无多大兴趣，只是想要抱团从经济建设中分得一块蛋糕而已。
但是现在日本国内的政治路线选择上，经济建设已经压倒了国防建设，东京-长野政商团体对于林信义来说就没啥助力了，接下来他需要推动社会财富的分配方式，也就是推动社会变革，这其中的一些人就成为了改革的阻力，所以他需要组建新党来取代这个政治上摇摆不定的政商团体。
东京-长野这一政商团体虽然正处于蒸蒸日上的阶段，但是面对林信义正在推动的新党建设面前，依然是没有什么抵抗力的。平沼骐一郎、鸠山和夫、安达峰一郎、若槻礼次郎几人虽然想要反对林信义另起炉灶建立新党，并试图将东京-长野这一关东政商团体变为党派，但很快就遭到了重大挫折。
小川平吉、原嘉道及涩泽系领导的东京商业势力拒绝另组党派，平沼、鸠山、安达、若槻几人虽然得到了安田财阀的认可，但是几人之间却没法决议出一个领导者来，鸠山和夫虽然名望甚高，但是在政府中的影响力不大，其他人在政府中人脉不错，可是在政治上却没有什么主张，双方都很难屈从一方。
小川平吉和原嘉道则很清醒，他们在政府中的地位其实主要依赖于海军的支持，和东京、长野一系的支持没啥关系。和林信义脱离关系，然后依托东京-长野一系自立门户，两人等于是政治上从头再来，这显然是在走回头路，他们自然是不肯的。
平沼等人之所以想要自立门户，就是因为海军对两人的支持更多一些，其他人都只是陪衬，所以他们更希望自己抱团，从而赢得政治上的独立性，双方所处的环境就不同，做出的判断自然也就差的远了。
更何况原嘉道更看好林信义，他认为鸠山和夫虽然在政治圈子里有些名望，但是其政治上的路线其实是华而不实，压根就没有具体的政策，所以鸠山没法整合派系组建政党，反观林信义的政治主张是很清晰的，舍弃东京-长野这个已经成了气候的政治势力也毫不犹豫，所以他还是压林信义的新党能够成功。
至于涩泽系领导东京商业势力跟着林信义走就毫无疑问了，因为林信义推动的东京城市建设和千叶县工业中心的建设，都保护了他们的利益，阻止了大财阀垄断新兴产业的图谋，他们不认为平沼、鸠山等人能够维护自己的利益，特别是当他们和安田财阀接近时，更是引起了这些商人的警惕。
于是在1911年一月二十二日，在林信义的家中，安部矶雄、石川三四郎、木下尚江、横山源之助、岛田三郎几人协商定下了新党的名称和政治理念。
新党名为自由党，经济上主张：对内推进工业化和农村的现代化，对外建立以日本为主导的亚洲经济联合体。政治上主张：对内伸张民权，进一步降低议员选举的经济条件，限制警察权力，对外主张亚洲和平共存，以亚洲联盟作为亚洲各国冲突的调解机构。
虽然作为现役军人，林信义无法参加自由党，但还是以受邀顾问的方式参与了党内事务的讨论，自由党一开始成立的人数并不多，但是组织上却比一般的政党要严密的多，因为自由党有自己的基层组织，东京地区深入到了工厂中，千叶县的乡村则进入到了村子的土地改革委员会中，这就意味着自由党和其他政党不同，不需要地方名望家的支持，就能直接和底层民众进行交流。
因此，自由党一经申请成立，在东京和千叶的城乡基层组织就迅速扩展了，并开始向关东其他地区深入。而原本支持东京-长野的政商势力，开始转向自由党，号称众议院第三势力的东京-长野系开始瓦解，自由党的影响力在议会中不断上升。
自由党的出现，自然引发了议会第一大党立宪政友会和第二大党宪政本党的关注，宪政本党的党首虽然是大隈重信，但是面对立宪政友会第二次组阁，开始在政治上突破藩阀政治的封锁，宪政本党的一些党员也产生了焦虑，认为不应当继续保持反对藩阀政治的路线，否则宪政本党就只能是在野党，而随着立宪政友会的再次组阁，政友会已经开始吸引一些本党党员转投政友会，这样下去，宪政本党迟早完蛋。
大石正巳开始主张修正反藩阀路线，至少要先组阁，才能推动本党的政治理念，他主张和亲近海军的自由党结盟，以对抗政友会的强势。之所以选择海军而不是陆军，因为大石认为海军的政治理念比较民主，陆军还是过于保护自己的政治地位了。