1863年11月，加菲尔德当选为联邦众议员。同年12月接受林肯总统的建议，辞去军职，专任联邦众议员。到1880年为止，他连选连任众议员九次，历时共达18年。在这个时期中，他的才能得到充分的发挥，终于成为国会众议院共和党的领袖之一，先后任军事委员会、银行事务委员会以及拨款委员会的主席。他博学多才，长于演说和写作。他看问题能从全国出发，并善于把理想与实际结合起来。