Во главе созданного им правительства при главкоме он поставил Кривошеина, назначив начальниками центральных управлений, за редким исключением, опытных бюрократов с дореволюционным стажем и правыми убеждениями. Стремясь извлечь уроки из поражений Колчака и Деникина, он придавал первостепенное внимание укреплению дисциплины в армии, налаживанию ее отношений с населением и проведению мероприятий, которые хотя бы частично удовлетворили интересы крестьян и промышленных рабочих. Этот курс получил название «левой политики правыми руками». В отличие от несколько прямолинейного Деникина, Врангель продемонстрировал способность трезво учитывать реальную ситуацию в России и произошедшие посте 1917 г. изменения, умение отбрасывать идеи, учреждения и людей, которые показали свою несостоятельность, и готовность идти на компромиссы со всеми военно-политическими силами, могущими быть союзниками Белого движения в борьбе против большевиков (ему принадлежит формула «Хоть с чертом, но против большевиков!»). Однако его компромиссы и уступки были чисто тактическими, скорее формальными, чем по существу. В течение апреля – мая 1920 г. Врангель решительными и жесткими мерами укрепил дисциплину в частях и реорганизовал остатки ВСЮР в Русскую армию (считая, что название «добровольческая» дискредитировано). Начальником своего штаба он назначил своего давнего помощника генерала П.Н. Шатилова. Своими приказами он запретил самоуправство и насилия в отношении мирного населения. Чтобы покончить с казачьей «самостийностью», он снял с должности и отдал под суд командира Донского корпуса генерала Сидорина, а также навязал казачьим атаманам и правительствам, оказавшимся в Крыму «без народов и территорий» два договора, по которому присвоил себе всю полноту власти над казачьими войсками. Чтобы привлечь на сторону Русской армии крестьян, он первым из вождей Белого движения решился на аграрную реформу в интересах крестьян, сломив сопротивление помещиков: 25 мая (6 июня) издал «приказ о земле», по которому крестьяне получали за выкуп часть помещичьих земель, уже фактически захваченную ими. Наконец, он попытался привлечь в союзники Н.И. Махно и добиться того, чтобы Украинская повстанческая армия поддержала Русскую армию в борьбе с большевиками. В области национальной политики стремился наладить сотрудничество с украинскими организациями и Грузией. Будучи монархистом и искренне считая евреев одними из главных виновников гибели России, он противодействовал монархической и погромной агитации в армии и в тылу, считая недопустимым «натравливать одну часть населения на другую». Во внешней политике Врангель переориентировался с Великобритании, настаивавшей на отказе от активных наступательных операций ради удержания Крыма как плацдарма антисоветских сил, на Францию, требовавшую перехода в наступление ради поддержки польской армии, воюющей против Красной армии. Однако, несмотря на все усилия его и его представителей в Европе и США, Врангелю не удалось ни получить крупный иностранный заем, ни денежные суммы в валюте, которыми располагали российские заграничные учреждения. В результате казне хронически не хватало денег, не на что было закупить необходимое количество вооружения, боеприпасов, обмундирования, снаряжения, топлива и т.д. Единственным источником денег стал печатный станок, что вело к стремительному росту цен и обнищанию населения, включая офицеров, чиновников и интеллигенции. Русская армия испытывала хронический недостаток во всем. В условиях товарного голода и инфляции части, не получая вовремя жалования, вскоре опять начали грабить жителей. Уклонение Франции и Великобритании от бескорыстной материальной помощи Русской армии привел Врангеля к полному разочарованию в союзниках.
25 мая (6 июня) 25-тысячная Русская армия вышла из Крыма и, разгромив полуразложившуюся 13-ю красную армию, заняла северные уезды Таврической губернии и продвинулись в направлении Екатеринослава и Таганрога. Однако все попытки Врангеля и его штаба развить успех ни к чему не привели. Крестьянство Таврии и казачество Дона и Кубани, разоренные войной, не желавшие больше воевать и недовольные грабежами и репрессиями белых, не поддержали власть Врангеля, поэтому не удалось как наладить пополнение и снабжение армии, так и расширить занимаемую территорию. Попытки захватить Кубань, Екатеринославскую губернию и часть Правобережной Украины окончились неудачей. Махно отверг предложенный союз, заключил договор с командованием Южного фронта и его отряды развернули боевые действия против частей Русской армии. В результате обескровленная Русская армия в октябре оставила Северную Таврию, а в ноябре не смогла удержать и Крым. Врангель сделал все возможное для проведения планомерной эвакуации и вывоза наибольшего числа войск: погрузка прошла в относительном порядке и (более чем на 100 судах) в Турцию было вывезено почти 75 тыс. офицеров, казаков, солдат и чиновников, а также около 60 тыс. гражданских беженцев, большая часть которых была связана с армией. В Турции своей главной задачей Врангель считал сохранение армии как боеспособной силы и создание опирающегося на эту силу органа, который мог бы претендовать на роль российского правительства в изгнании. Тем самым и ему самому обеспечивалось сохранение статуса главнокомандующего. Армия, сведенная в три корпуса, была размещена в лагерях и содержалась за счет денежных средств Франции. За зиму 1920/21 гг. командованию удалось путем отсева тех, кто разочаровался в Белом движении, суровых мер и организации регулярных занятий восстановить дисциплину и боеспособность частей. В марте 1921 г. Врангель сформировал Русский совет как «преемственный носитель законной власти». Однако ни правительства стран Западной Европы, ни большинство эмигрантских организаций не признали Русский совет, поскольку считали вооруженную борьбу с большевистской властью России проигранной, а самого Врангеля – слишком правым и дискредитированным, чтобы возглавлять военно-политическую эмиграцию. Поэтому никаких денег для содержания армии и помощи беженцам Врангель не получил. Французское же правительство, во-первых, опасаясь (в этом с ним было солидарно британское) сохранять столь грозную силу на Босфоре и, во-вторых, не желая более нести расходы, постепенно сокращало выдачу продовольствия, а его представители в Турции всеми мерами подталкивая офицеров, солдат и казаков к переходу на положение гражданских беженцев, отъезд на работу в другие страны, вплоть до стран Южной Америки, и даже возвращение в Советскую Россию. Наконец, казачьи атаманы и правительства разорвали договорные отношения с главнокомандующим и вышли из подчинения ему. Между тем, занимаясь преимущественно политическими и финансовыми вопросами, Врангель все меньше внимания уделял военным; в результате реальную военную власть постепенно забирал в свои руки генерал Кутепов, командир Добровольческого корпуса.
Чтобы сохранить остатки армии, Врангель вынужден был во второй половине 1921 – первой половине 1922 гг. перевезти их в Болгарию и Королевство Сербов, Хорватов, Словенцев (Югославию), где они из-за отсутствия у штаба главкома средств постепенно были переведены на «трудовое положение», то есть стали зарабатывать на жизнь своим трудом. Многие начали покидать части и разъезжаться по разным странам. В сентябре после переезда в Сербию прекратил существование Русский совет. Сам Врангель поселился со своей семьей и штабом в городке Сремские Карловцы (Сербия).
В декабре 1921 г. в Константинополе при помощи своего секретаря Н.М. Котляревского он начал писать воспоминания о периоде своей жизни с ноября 1916 по ноябрь 1920 гг., которые были закончены в декабре 1923 г. в Сремских Карловцах. Одним из главных мотивов этой работы стала необходимость отстоять в глазах эмиграции свою позицию в конфликте с Деникиным, который уже начал публикацию «Очерков русской смуты». В 1924 г., когда военнослужащие Русской армии расселились по разным странам и стали зарабатывать на жизнь собственным трудом, оставшиеся без войск штабы превратились в подобие объединений однополчан и везде, где жили бывшие офицеры, возникали различные военные организации, Врангель создал «Русский общевоинский союз» (РОВС). По его замыслу, РОВС должен был позволить ему сохранить в своих руках централизованное руководство всеми военными организациями, оградить офицерство от влияния различных политических сил (от социалистов до монархистов) и, по мере возможности, поддерживать его мобилизационную готовность. Врангель, сохранив за собой звание главнокомандующего Русской армией, стал председателем РОВС.
Все более отстраняясь от монархистов, Врангель стремился, прежде всего, насколько позволяли остатки казны, оказывать материальную помощь офицерам и уберегать их от участия в авантюристических действиях против СССР, которые, по тогдашнему соотношению сил, могли привести лишь к неоправданным потерям и дискредитации РОВС. В частности, он с большой настороженностью относился к тем, кто приезжал из СССР и искал контакты с эмигрантами, выдавая себя за представителей неких подпольных организаций, ведущих борьбу против большевиков. Благодаря этому ему удалось уберечь себя и свое окружение от вовлечения в «Трест», провокационную операцию ОГПУ. Поскольку, однако, штаб-квартира РОВС находилась в Париже, генерал Кутепов без его ведома создал внутри РОВС подчиненную только ему структуру, которая на средства, получаемые от иностранных разведслужб, вела разведывательную и диверсионную работу на территории СССР (в значительной степени под контролем ОГПУ). Это привело к серьезной размолвке между ним и Кутеповым.
В 1925 г. семья Врангеля, в которой родился еще один ребенок – сын Алексей, переехала в Брюссель, а сам он с матерью остался в Сремских Карловцах, где среди прочих дел зимой 1926 г. приступил к редактированию своих воспоминаний и подготовке их к изданию. Решение об издании диктовалось, во-первых, материальными причинами (деньги в казне РОВС иссякли, поступления извне почти прекратились и он сам с семьей жил на очень скудные средства) и, во-вторых, необходимостью дать ответ на деникинское изложение конфликта между ними в «Очерках русской смуты».
В ноябре 1926 г. Врангель переехал в Брюссель. Он активно искал средства на создание организации, которая могла бы вести разведывательную и контрразведывательную работу против СССР и притом была бы ограждена от проникновения в нее агентуры ОГПУ и Разведуправления РККА. Ознакомившись с 5-м, последним томом «Очерков русской смуты», он принял также решение ускорить публикацию своих воспоминаний. Поскольку иностранные и эмигрантские издательства одно за другим отказались их печатать, он передал их А.А. фон Лампе для публикации в летописи «Белое дело».
В феврале 1928 г. он вызвал фон Лампе из Берлина в Брюссель и совместно с ним отредактировал их окончательно и по совету фон Лампе дал им название – «Записки». При этом он сократил текст на 1/8 их объема; в частности, сняты были критические характеристики Николая II и наиболее резкие места из полемики с Деникиным (годы изгнания умерили честолюбие Врангеля и он, очевидно, с одной стороны, уже не считал себя совершенно правым в конфликте с Деникиным, с другой – осознал, какой вред Белому движению на юге России объективно принесла его борьба за пост главкома ВСЮР независимо от его субъективных намерений).
В марте 1928 г. Врангель заболел гриппом. Состояние его заметно ухудшалось, и 11 апреля врачи диагностировали у него туберкулез левого легкого. Надежды на выздоровление почти не было, и он отдал распоряжения на случай смерти. Одним из них было: после издания «Записок» в 5-м и 6-м томах летописи «Белое дело» оригинальный полный текст воспоминаний сжечь (это было сделано с соблюдением всех формальностей 31 октября).
25 апреля 1928 г. он умер (есть версия, что он был отравлен агентом ОГПУ, но пока она серьезными аргументами не подтверждена). Генрал П.Н. Врангель был похоронен в Брюсселе, на кладбище в Юккль-Кальвет.
В октябре 1929 г. прах был перевезен в Белград, где перезахоронен в русской церкви Св.Троицы.
