骞为人强力，宽大信人，蛮夷爱之。堂邑父胡人，善射，穷急射禽兽给食。初，骞行时百余人，去十三岁，唯二人得还。

——《汉书·张骞传》

元朔三年（前127年）冬，御史大夫张欧因为年老多病请辞，汉武帝原本打算以孔子十世孙、蓼侯孔臧接任御史大夫一职，但孔臧却表示自己家族世代以传习经学为业，因此希望担任太常一职，汉武帝遂以孔臧为太常，而以老臣公孙弘为御史大夫。

公孙弘早年便曾给汉武帝上书，提出“凭才干任官职，不听无用的意见，不制造无用的器物，不夺民时妨碍民力，有德者进无德者退，有功者上无功者下，犯罪者受到相应惩罚，贤良者得到相应奖赏”等八条治国之法，从其中不难看出，公孙弘虽然赞同力行改革，但却主张以内政为主，且不建议太过损耗民力。

当时，汉武帝先是命唐蒙和司马相如开通西南夷道，而当卫氏朝鲜的藩国秽国国君南闾于元朔元年（前128年）率众28万归降汉朝后，汉武帝又于辽东设立沧海郡，并派人前往辽东筑城建制、安置民众，而在夺回河南地后，又开始了大规模的朔方城建造，这显然与公孙弘“与民休息”的主张极为不符。

为此，公孙弘多次上书进谏，认为以中原地区疲敝的代价，去开辟那些无用之地，完全就是得不偿失，希望汉武帝能够废止这些工程。汉武帝则让朱买臣等近臣与公孙弘就朔方郡的修建等问题进行辩论，公孙弘哪里是这些能言善辩又颇有文采之人的对手，立时便败下阵来。

公孙弘遂上书请罪说，“我是山东鄙人，没有考虑到设置朔方郡还会有这么多的好处。不过，臣认为如果朝廷要修筑朔方城，就应该废止对西南夷、沧海郡的工程，而集中力量经营朔方郡，否则太过损耗民力，于国不利。”

汉武帝思虑再三，认可了公孙弘的说法，长期大肆损耗民力的确不是太过明智的做法，于是下令废弃了设立仅一年的沧海郡建置。同年秋，汉武帝又下诏罢废了西南地区的建置，独留南夷、夜郎两县和一个都尉，后来又觉得不应放弃这么多年的建设，便命犍为郡自行完善地方建置，修筑长达九年的西南夷道工程也暂时被终止。朝廷开始集中全力修筑朔方城，完善朔方郡的建置。

就在公孙弘出任御史大夫，上书建议节省民力之时，匈奴内部亦发生了惊天巨变。

元朔三年（前127年）冬，匈奴军臣单于病逝。由于匈奴实行“世选制”，即新任的匈奴单于，必须经各部贵族共同认可才行，这虽然确保了匈奴单于对于各部的统治，但也给了那些野心家极大的操作空间。

军臣单于虽然生前便将儿子於单立为了太子，但其野心膨胀的弟弟、左谷蠡王伊稚斜却并不甘心效忠于年轻的侄子。于是，军臣单于去世之后，伊稚斜立即凭借着强大的军事实力自立为单于，并出兵攻打太子於单，匈奴因此陷入内乱。

太子於单实力不足，被伊稚斜击败后又不甘心臣服，遂率领残部南下归顺汉朝，汉武帝闻之大喜，封其为涉安侯。然而，於单由于身上有伤，在归顺数月之后，便不幸去世了。

这次内乱，不仅使得匈奴自身动荡不安，同时也给了一个囚犯逃走的机会，这个人不是别人，正是远赴西域十余年，归途中被囚禁匈奴一年多的张骞。

早在汉武帝即位后的第二年，即建元二年（前139年），汉武帝从匈奴俘虏口中得知，在敦煌、祁连一带曾有一个比较强大的游牧民族大月氏，后因攻占邻国乌孙而与匈奴发生冲突，后多次败于冒顿单于，以致国势日衰。老上单于时，匈奴再度大举进攻大月氏，大月氏国王不仅兵败身死，而且脑袋还被匈奴人割下来做成了酒器。经过这次惨败后，被迫西迁的大月氏虽然有心复仇，奈何已经无能为力。

为了联合大月氏夹攻匈奴，缓和汉朝西部的军事压力，汉武帝决定派人前往西域联系大月氏部落，并为此公开招募能够担当重任的人才，出身汉中郡城固县的郎官张骞挺身应募，担当起了西行的重任。同年，张骞率领一百多随行人员，以匈奴人堂邑父为向导，自长安出发前往西域，寻找西迁的大月氏。

当时，大月氏战败西迁之后，天山南路的西域各国亦相继被匈奴所征服，匈奴不仅控制了西域地区，其势力甚至已经深入到了河西走廊，从西部对汉朝形成了威胁。

河西地区，原本盘踞着诸多游牧部落，其中以大月氏和乌孙最为强大，乌孙被大月氏击败后，其部众或逃散、或归顺匈奴，河西遂被大月氏控制，而当大月氏被匈奴击败，被迫西迁以后，河西就此落入了匈奴手中。匈奴人在控制河西后，又继续向南发展，以致不少西羌部落也都归附了匈奴。

当张骞一行人匆匆穿过河西走廊时，便不幸遇上了匈奴骑兵，一行人全部被匈奴抓获。得知张骞乃是汉朝使者后，匈奴右部诸王立即将张骞等人押送到了匈奴王庭，献给了军臣单于。