Често е наричан за кратко само „Мис“. Заедно с Валтер Гропиус и Льо Корбюзие е смятан за един от пионерите на модернизма. Той е третия и последен ръководител на известната школа Баухаус закрита от нацисткия режим през 1933 година.
Стилът му се характеризира с чистота и простота на формите и линиите. Превърнал се в едно от най-влиятелните течения в архитектурата на ХХ век.
Мис е широко известен с употребата на афоризма – „Малкото е повече“.
Първоначално работи в каменоделското ателие на баща си и в няколко местни дизайнерски фирми, преди да се премести в Берлин, където се присъединява към офиса на дизайнера Бруно Пол.
Започва архитектурната си кариера, чиракувайки заедно с Валтер Гропиус и Корбюзие в ателието на Петер Беренс, където се среща с новите стилови идеи на прогресивната германска култура. Талантът му бързо е забелязан и скоро той започва да поема самостоятелни поръчки, въпреки липса на съответно академично образование.
По това време Мис добавяйки по-впечатляващата фамилия на майка си – „ван дер Рое“. Частната му практика започва с проектирането на фамилни къщи за по-богатите в германското общество. Проектите му са в изчистен неокласически стил по подобие на пруският архитект от началото на XIX век Карл Фридрих Шинкел.
Мис ван дер Рое започва да развива и изглеждащи утопично за времето си проекти, които макар и неизпълнени, му дават репутация на прогресивен архитект.
Изоставяйки напълно орнаментите, той създава зашеметяващия си конкурсен проект за стъклен небостъргач на Фридрихщрасе в Берлин през 1921 година.
Мис продължава със серия от новаторски проекти. Кулминация му са двата му изпълнени европейски шедьовъра: Временният германски павилион за изложението в Барселона през 1929 година и елегантната модерна вила „Тугендхат“ в Бърно, Чехия, завършена през 1930 година.
С настъпването на „световната депресия“ след 1929 година, поръчки силно намаляват.
По това време Мис заема поста директор на училището Баухаус. Принуден е от нацисткия режим да го закрие. Новосъздаденият от него модерен стил е отхвърлен от нацистите.
Разочарован и нещастен той напуска родината си неохотно през 1937 година. Мис ван дер Рое приема един проект за жилищна структура в Уайоминг, а в последствие и предложение да ръководи архитектурно училище в Чикаго.
Мис ван дер Рое се установява в Чикаго, където е назначен за директор на архитектурното училище към „Chicago’s Armour Institute of Technology“ по-късно преименуван на „Илинойски Технологичен Институт“. Едно от предимствата за приемането на поста е възлагането на проекта за новата сграда на института и изготвянето на плана за неговия кампус. Всички сгради от тази поръчка проектирани от ван дер Рое още съществуват и се използват. Известни са също: „Alumni Hall“, „Капелата“ и шедьовърът „S.R. Crown Hall“, построен да приюти точно архитектурната школа оглавена от Мис. Тази сграда е смятана за най-добрата му творба, характеризираща „Мисовата архитектура“.
През 1944 година, Мис ван дер Рое става гражданин на САЩ. През 30-годишната си кариера като „американски“ архитект, Мис се насочва към идеята за затвореното-отворено простронство, изпълнено от предварително направени структурни елементи.
Още първите му проекти, разкриват пред американското общество стилът, който изглежда естествена еволюция на почти забравения стил на Чикагската школа от XIX век. Неговата архитектура се превръща в изключително приемлив модел за американските културни и образователни институции, предприемачи, публични агенции и големи корпорации.
Мис проектира и ръководи работите от студиото си в центъра на Чикаго през всичките 31 години в САЩ. Сред забележителните проекти са: жилищните кули „860-880 Лейк Шор Драйв“ в Чикаго; „Фарнсуорт Хаус“ в Плейноу ; небостъргачът „Сигрем Билдинг“ в Ню Йорк.
Мис ван дер Рое умира на 83-годишна възраст.