消息传至长安，武帝大怒，正好想让李夫人兄弟尊贵，便命李广利为将军，率兵远征大宛，以便立功封侯。此次远征，主要在夺取大宛贰师城的宝马，故号李广利为贰师将军，表示志在必得。 武帝太初元年，即公元前1O4年，李广利率领骑兵六千，步卒数万，远征大宛。出了玉门关，进入西域地区，所路经的一些小国，见汉兵到来，都紧闭城门，不给汉军食物。汉军缺乏粮草，便沿途攻打城池。攻下了，就能取得粮草，供士卒马匹食用;攻不下，略盘桓数日，继续前进。一路之上，战死的饿死的很多，到达大宛的郁成时，士卒仅剩下数千人，而且都饥饿之极，疲劳不堪，一个个面黄肌瘦，精疲力尽。李广利指挥军队攻打郁成城。经一再调遣士卒强攻猛打，对方防守严密，均不得手，伤亡甚众。李广利考虑到郁成城尚且攻不下来，又怎么能攻破大宛的王都呢?而且士卒越来越少，既无兵员的补充，又无粮草的接济，便决定撤军。部队回到敦煌，往来时间共两年，所剩下的士卒才及出发时数万的十分之一二，损失极为惨重。 李广利驻军敦煌，向武帝上书说：“道路遥远，缺乏粮草，士卒不忧虑战斗而忧虑饥饿。所剩下的士卒不多，难以攻下大宛的王都。请求暂且修整.等待补充兵力后再去攻打。” 汉武帝接到李广利所上之书，极为愤怒，派出使者把守在玉门关，传令道：“军队有敢进人关的，斩首。”李广利闻令恐惧，不敢入玉门关，只得驻扎在敦煌。第一次远征大宛，就这样因轻率出师及指挥不力以惨败告终。
太初三年，李广利再奉命率大军远征大宛。武帝鉴于上次征大宛的惨败，这次则作了周密的部署。随李广利远征的大军有六万人，还有许多私自跟随大军一道.出征的不在六万之数，又有牛十万头，马三万匹，驴和骆驼以万数。粮草充实，戈矛齐备，弓弩甚设，能满足部队军需上的一切需要。另外征调十八万士卒，布防在酒泉和张掖以北，新设置居延和体屠两个军事据点，一方面防匈奴的入侵，切断大军的补给钱，一方面作为远征的后援部队，便于接应。又征调了许多民夫，为大军运送粮草。整个河西走廊都沸腾起来了，真个是悬旌千里，云辎万乘，天下震动。李广利率大军从敦煌出发，挥师西进。士卒前进的虎步，令戈壁抖颤;铁骑蹴起的尘沙，使天山雪暗。刀光闪射，与日色相辉映;鼓声轰呜，如雷霆震碧空。赫赫烈烈，地动山摇。大军所过之处，西域各国城门大开，隆重迎接，为士卒供给酒食，为牛马调拨草料。汉兵也不侵扰百姓，士民安居，鸡犬不惊，而且街市比过去更热闹，商肆比往日更兴隆。
