1849年他进入俄亥俄州的吉奥加神学院学习，并在秋冬两季到一所区级学校任教。1851年至1854年，他进入俄亥俄州的海勒姆学院，继而又转入马萨诸塞州的威廉斯学院。他在德语和演讲方面部是班里的优等生。1856年毕业后，回到俄亥俄州的母校海勒姆学院任教，主讲希腊文和拉丁文、高等数学、历史学及哲学。1858年被任命为海勒姆学院院长，当时他仅26岁。他任院长共四年。 1858年11月11日加菲尔德与他幼年时的女友卢克丽霞·鲁道夫结婚，生有五男两女。在大学任教期间，加菲尔德对政治产生了兴趣。他反对奴隶制和脱离联邦的分离论，他的废奴主张在当地受到欢迎。他还到全国各地作演讲旅行。1859年加菲尔德以共和党人的身份当选为俄亥俄州参议 史蒂文斯 员（1860年至1861年）。他支持用强制手段迫使那些退出的州重回联邦。这期间他抽时间学习了法律并被吸收为律师协会成员。
在南方重建时期，加菲尔德支持给予黑人选举权、重建国会和弹劾约翰逊总统。这些都反映了共和党激进派的观点。他坚决反对发行“绿背钞票”计划，主张执行“睦全的货币政策”，并用硬币支付政府债务，反对只采用银币，主张以黄金和白银同时作为货币基础的金本位制。对外，他是一个温和的贸易保护主义者，主张把保护本国工业作为1880年的首要任务。尽管在经济政策方面，加菲尔德有时与林肯总统的意见不一致，但他仍支持林肯重新当选，林肯被刺后他十分悲痛。 加菲尔德认为“民主的伟大希望在于教育”。为加强教育工作，他创建了美国教育部。他认为南方要取得进步，首先要抓教育。他重视对聋哑人的教育。他还曾担任史密森氏学会会长，帮助筹建了美国地质勘测局。
同年11月，加菲尔德帮助海斯竞选总统，并作为共和党的代表参加了为解决1876年选举纠纷而成立的“选举委员会”。1880年1月，加菲尔德也被选入美国参议院，但由于他已是共和党全国委员会代表，并作为党的领导人正在为下届总统的竞选工作做准备，因而未正式履行参议员的职责。
加菲尔德数度入选众议院后，又入选了参议院，但是从未在此任选票职，因为他还没有等到宣誓就任参议员，就被提名并入主了白宫，成为美国历史上独一无二的事例。 在赢得总统提名时，加菲尔德曾经引起与共和党格兰特派的分裂，事态的发展激怒了芝加哥一位头脑糊涂的落魄律师，他名叫查尔斯·吉特奥。不知出于什么原因，吉特奥痴迷于一个想法：如果他杀了加菲尔德，共和党就会重新团结起来，感恩的共和党人将会因为他的功劳而奖励他一个行政职务。