Народився 26 вересня 1905 року у Відні. Вихованець місцевого клубу «Донау». Спочатку виступав у нападі, а згодом у середній лінії віденських команд «Ваккер» (1924—1928), «Аустрія» (1928—1929) і «Рапід» (1929—1931). У складі останнього клуба був володарем кубка Мітропи і чемпіоном Австрії. Всього за «Рапід» провів 31 матч; із них у лізі — 19 (2 голи) і шість у кубку Мітропи.
За національну збірну провів у 1927 році два матчі. У першому, 10 квітня, австрійські футболісти перемогли збірну Угорщини з рахунком 6:0, а Карл Раппан забив другий гол у ворота суперників. Вдруге вийшов на поле, у головній команді країни, на матч зі збірною Чехословаччини (0:2 на користь суперника)[1].
У 1931 році перейшов до женевського «Серветта» і через півроку став граючим тренером команди. Працював головним тренером «Грассгоппера» (1935—1948), «Серветта» (1948—1957), «Цюриха» (1958—1959) і «Лозанни» (1964—1968). У 1948 році отримав швейцарське громадянство. Під його керівництвом «Грассгоппер» здобував перемоги у п'яти чемпіонатах і семи національних кубках, у трьох сезонах зробив «дубль». Із «Серветтом» — три перемоги у лізі й одна в кубку, участь у першому розіграші кубка європейських чемпіонів. У чемпіонаті і кубку перемагав і з «Лозанною». У сезоні 1969/70 очолював віденський «Рапід», але не маючи відповідної тренерської ліцензії, обіймав посаду технічного директора.
Збірну Швейцарії очолював чотири рази: 1937—1938, 1942—1949, 1953—1954 і 1960—1963 роках. Під його керівництвом команда виступала на трьох чемпіонатах світу (1938, 1954, 1962). Всього очолював збірну Швейцарії у 62 матчах[2].
Автор захисної тактики, відомої як «швейцарський замок» або «замок Раппана». Його ідея полягала в тому, що крайні півзахисники стали крайніми захисниками. Також з'явилися два центральних захисника, що грали один перед іншим, тобто «стопер» і «ліберо». На її основі італійський тренер Нерео Рокко створив всесвітньо відоме «катеначо».
Один із засновників кубка Інтертото, який до 1967 року називався Міжнародним футбольним кубком або кубком Раппана.