过程并不是很复杂。薛仁贵率军经鄯州(治西都，今青海乐都)至青海湖南之大非川，将进兵乌海(今青海喀拉湖)。这里周围都是重重沼泽，处处水洼，让唐军一筹莫展。薛仁贵以乌海险远，大军辎重不便前行，命令副将左卫将军郭待封屯兵两万于大非岭，树栅栏保护辎重，而自己率领主力轻锐兼程进军，趁吐蕃军未备，破之。
随后，薛仁贵率领的主力部队与吐蕃军队在河口(今青海玛多)遭遇，吐蕃军队果然由于猝不及防而大败。仁贵率军乘胜进占乌海城，以待后援。然而，就在胜利在望的时候，意外出现了。留守大非岭的郭待封自恃名将郭孝恪之后，不服薛仁贵管制，擅自率后队继进，又未能及时与主帅会合。未至乌海，即与吐蕃相论钦陵率领的四十万吐蕃军相遇。待封大败，辎重、粮草尽失。薛仁贵被迫退保大非川。
八月，吐蕃军在钦陵指挥下，以四十余万大军逼唐军决战。薛仁贵无险可据，更无粮草供应军需，大败，几乎全军覆没，薛仁贵等“与钦陵约和而还”。大非川之战最终以唐军的大败而告终。随后，吐蕃大举进攻安西四镇，结果安西四镇也丢失了。因为大非川的失利，薛仁贵郁郁而终。那些不能理解他的人，例如御史中丞魏元忠等人，当面唾骂薛仁贵无能。
大非川战役虽然简短，但是意义十分重大。它不但是唐建国以来对外作战中最大的一次失败。同时，这次失败直接导致了安西四镇与吐谷浑故地的丢失。唐被迫撤销安西四镇建制，安西都护府迁至西州(治高昌，今新疆吐鲁番)，吐谷浑亦并入吐蕃，成为其别部。从此，唐帝国就失去了西北边境防御的战略有利位置。以前由吐谷浑协助唐共同防御吐蕃的西北边境，如今内移到祁连山麓，离关中近在咫尺。
从此一直到德宗年间吐蕃被攻灭的这一百年间，吐蕃屡次入寇关中，劫掠财富与人口，长安以西各州县，城门日夜关闭。每当秋高马肥时，吐蕃兵团长驱直入，在凤翔等关中地区攻城略地，烧杀掳掠，甚至不时地直抵首都长安城下。“防秋”于是成为防御吐蕃军的专用军事用语，实在是丢尽了天朝的颜面。
由于维持安西四镇的成本实在太高，运输的成本、被敌人袭击的成本、民夫聚集可能引发的骚乱，都让朝廷非常头痛。自从安西四镇建立以后，有关它的争论，就持续不断。赞成继续控制安西四镇的人固然很多，可是反对的呼声也不少，有些反对者在后世看来是非常有名的。如果不是有切实的史料记载，很难相信，呕心沥血，任劳任怨的他们，会如此极力主张放弃西域。
在反对者里面，最突出的，就是武则天时期的一代名相狄仁杰。在公元690年前后，吐蕃占领了安西四镇，朝廷议会，狄仁杰就坚决主张放弃安西四镇，理由是他觉得在西域用兵，耗费实在是太大了，与其不断的将钱粮填入这个无底洞，还不如主动修好和吐蕃的关系，维护商道的畅通。
由于当时狄仁杰的威望很盛，御史中丞魏元忠等人也都赞同他的意见，主张放弃西域。反而是武氏一族的武三思等人，坚持不要放弃。两种不同的意见，在朝堂上争吵得非常激烈。狄仁杰未必部队，武氏一族也未必是出于国家考虑。后来还是因为武则天的坚持，力排众议，唐军才最终在王孝杰的带领下，重新收复了安西四镇。
当然，付出的代价是很沉重的，由于此战耗费巨大，严重消耗了唐军和帝国的实力，直接影响到后来的征讨突厥人的战争。因为没有足够的实力，唐军无法抵挡突厥人的反击，加上武氏一族的叛国，导致足足三十万唐军将士不幸罹难，成为唐帝国建立以来，最大的一次惨败。这次惨败造成的后果，一直到玄宗时代才逐渐恢复过来。
安西四镇真正的稳定时期，乃是在开元、天宝年间，因为那时候大唐的国力非常强盛，有足够的物力、人力坚守安西四镇，粮食运输的成本，帝国也能够接受。西域的各个少数民族，忌讳于唐帝国的强悍，所以也不敢在西域捣乱，使
-->>