1921年秋天，尼尔森一次在给他的钢琴家朋友克里斯蒂安森打电话时，后者当时正与哥本哈根木管乐五重奏组的四位成员排练莫扎特的《交响协奏曲》。尼尔森在电话里听到对面的音乐，于是问他能否过去观看他们的排练。在那里，尼尔森明白了莫扎特是如何在第三乐章里突出了每一件乐器的个性。让他兴起了写作一首木管五重奏。一开始他并没有特别用心在创作此曲，只当作闲暇时的娱乐，但是越写却越受乐曲吸引，从而写出一首相当复杂而完整的杰作，连西贝柳斯听到都称赞其为“深奥的逻辑”。五重奏完成于4月底，在尼尔森的朋友曼海默家里中进行了一次私人试演。 1922年10月9日，作品由哥本哈根木管乐五重奏组首次公演。 木管五重奏首演成功后，他原打算为哥本哈根木管五重奏组的每位成员写一部协奏曲的。可惜的是，在他死之前，他只完成了两部——即《单簧管协奏曲》与《长笛协奏曲》。他一生创作了三部协奏曲，关于尼尔森的三部协奏曲，英国作曲家罗伯特·辛普森在他的《卡尔·尼尔森——交响乐曲作家》中这样写过：“三部协奏曲中最后一部（指单簧管协奏曲）是最深沉的，第二部（指长笛协奏曲）是最美的，第一部（指小提琴协奏曲）是最广阔的。” 晚年时他请人代笔，口述了他的回忆录《菲英岛的童年时光》。1931年10月3日，尼尔森因心脏病在哥本哈根医院去世，丹麦为他举行了国葬。他的妻子——丹麦雕塑家安妮为他铸造了一个纪念雕像——一个年轻的男人吹奏着牧羊笛。