啬夫之职,郑玄在任上勤勤恳恳,十分认真,抚恤孤苦,甚得乡里的好评,不久便晋级而成为乡佐。
郑玄不安于乡吏的工作,不愿为吏以谋生,一心向往研究学术,因此,他在做乡吏的同时,还利用一切可以利用的机会刻苦学习,每逢休假日也不回家,而到处游学向山野博士请教各种学术问题。
他的父亲对此极为反对,并一再督责和训斥他,但父、兄的反对也改变不了他的志向,他仍坚持不懈地努力学习,到二十一岁时,已经博览群书,具有了深厚的经学功底,并精于历数图纬之学,兼精算术。
当时的名士杜密任太山太守、北海相,到高密县巡视时见到郑玄,认为他是一个不可多得的人才,就把他升调到郡里为吏录,使他得到学习和深造的机会。
从此,郑玄便结束了乡吏生涯,到了北海郡不久,郑玄又辞去吏职,入太学授业;他的老师第五元先,是当时京兆平陵的大姓,曾任兖州刺史,是一位很有学问的经学博士。郑玄从师第五元先,先后学了《京氏易》、《公羊春秋》、《三统历》、《九章算术》等,俱达到了通晓的程度。
其中《京氏易》是前汉京房写的,《公羊春秋》是战国公羊高传述、前汉初成书的,这两部书都是经学的重要典籍;《三统历》是前汉刘歆写的历法,《九章算术》则传说是西周周公著的,这两部书都属历数之学的重要著述,此后十年左右,皆为郑玄折节求学的时代。
他师事第五元先后,又从东郡张恭祖学习了《周官》、《礼记》、《左氏春秋》、《韩诗》、《古文尚书》等书,其中除《礼记》和《韩诗》外,均为古文经学的重要典籍。
郑玄向第五元先和张恭祖学习了今古文经学两大学派的重要经籍后,尚不以此为满足,又从陈球受业,学习了《律令》。在此期间,他还以明经学、表节操为目的,游学于幽、并、兖、豫各州,遍访名儒,转益多师,虚心向他们学习,共同探讨学术问题。
读万卷书,行万里路,不辞劳苦,孜孜求道,郑玄的青年时代,就是这样匆忙而充实地过去了,到了而立之年后,郑玄已经成了一名有着较深造诣的经学家,他的学问在中原一带已经可以说首屈一指、无出其右者了。
郑玄虽然已经学富五车,但他自己却毫不满足,当他感到关东(指函谷关以东)学者已经无人再可请教了的时候,便通过友人卢植的关系,离开故国,千里迢迢西入关中,拜扶风人马融为师,以求进一步深造。
马融是当时最著名的经学大师,学问十分渊博,他遍注儒家经典,使古文经学达到了成熟的境地,他的门徒上千,长年追随在身边的就有四百余人,其中优秀者亦达五十人以上。
马融是勋爵门第,为人比较骄贵和讲究,虽然门徒众多,但他只亲自面授少数高材生,其余学生则由这些高材生转相授业。
郑玄投学门下后,三年不为马融所看重,甚至一直没能见到他的面,只能听其高足弟子们的讲授;但郑玄并未因此而放松学习,仍旧日夜寻究诵习,毫无怠倦。
直至有一次,马融和他的一些高足弟子在一起演算浑天问题,遇到了疑难而不能自解,有人说郑玄精于数学,于是就把他召去相见。
郑玄当场很快就圆满地解决了问题,使马融与在场的弟子们都惊服不已,马融对身边的卢植说“我和你都不如他呀!”自此以后,马融对郑玄十分看重,郑玄便把平时学习中发现而未解决的疑难问题一一向马融求教,对于篇籍的奥旨寻微探幽,无不精研,终得百尺竿头更进一步。
郑玄在马融门下学习了七年,因父母年迈需要归养,就向马融告辞返回山东故里,马融此时已经感到郑玄是个了不起的人才,甚至会超过自己,他深有感慨地对弟子们说“郑生今去,吾道东矣!”意思是说