谯玄字君黄,巴郡阆中人。年轻时好学习,能讲解《易》、《春秋》。出仕州郡。成帝永始二年,出现了日食的灾异,于是皇帝下诏书要各州举荐一名敦厚朴实而又谦让、有品行有道义的人。州府举荐谯玄,谯玄到公车,策问应对成绩优异,被授任为议郎。

皇帝开始设置期门,多次微服外出。皇帝立赵飞燕为皇后,皇后独占宠爱,心怀忌妒,很多皇子横遭夭折。谯玄上书劝阻说：“臣听说天子秉承上天，继承祖宗登上皇位，保有大业，延续帝祚，没有比继承人更为使人着急的。现雀陛下的继承人没有确立，天下的人都在注目，然而陛下不去考虑社稷之计，一心想着微服外出的事情，恩爱宠幸用在使人惑乱的人身上。臣私下听说后宫皇子生下而不能养育。臣得知以后很忧伤，心中十分悲痛，私下片刻不忘忧念国家。如果警戒保卫不整治，那么祸患就会意外发生。这就是贼寇祸乱在身边发生的情况。希望陛下想着天下极端重要，爱惜自己像金王般的身体，（这样的话）天下的人都非常欣慰、，”当时国家多次发生异常灾害，谯玄经常陈述灾异的变化。但他的意见却不被成帝理解接纳，所以谯玄长久地滞留在郎官的位置上。后来调任太常丞，因为为弟弟服丧辞掉官职。

平帝元始元年，出现日食现象，平帝又下令要公卿大夫们推荐敦厚淳朴、敢于直言的人。大鸿胪左成推荐谯玄到官署去应对策问，谯玄再次被授予议郎的官职。元始四年，朝廷要选拔八个通晓政治事务又能推行教化风俗习惯的人。当时大家一致推举谯玄，谯玄手持天子符节，与太仆王恽等人分别巡视各地，考察各地民风民情，每到达一个地方都自行行使惩罚奖励的职权。这件事还没有完成，而王莽统摄朝政，谯玄于是抛弃了使者的车马队伍，改名换姓，私下逃回家中，就此隐居起来。

后来公孙述在蜀僭称天子名号，他连续聘请谯玄任职，谯玄都不去。公孙述就派遣使者准备了礼物去征召他；如果谯玄还不肯出来做官，就赐给他毒药。太守于是亲自捧着文书到谯玄的家里，说：“您高尚的节操已经很出名了，朝廷很看重您，悠确实不应该再推辞了，免得自招杀身之祸。”谯玄仰头向天长叹说：“唐尧是圣明的君主，许由还是把做官当作耻辱；周朝的武王最为贤德，伯夷为了不做官宁愿挨饿。他们都是那样的人啊，我也是那样的人啊。我要保全我高尚的志向和节操，即使死了又有什么遗憾呢！”于是接受了毒药。谯玄的儿子谯瑛哭出了血，对着太守叩头说：“现在我们国家东面有很厉害的敌人，军队四面出动，国家和军队的费用不是经常充足，我愿意拿出家中的一千万钱，来为父亲赎去死罪。”太守替他向公孙述求情，公孙述听了之后答应了。谯玄于是在乡间隐居，一直到公孙述死。