源自子姓、源自姬姓、源自官职名、源自地名、源自避难改姓。
1、源自子姓：子姓乐氏最早可以追溯到西周时期，当时宋国国君宋微子的儿子-公子衎字乐父，之后子衎生下了倾父泽，倾父泽又生下了夷父须，也叫做子夷父，也就是这一代随着祖父子衎的字改了姓，也就是“乐父”为姓，最终简化为乐姓，而这一分支也是乐姓最正宗的一脉。
2、源自姬姓：虽然历史上并没有关于乐王鲋的详细记载，只知道他字叔鱼，是春秋时期晋国的大夫，非常受晋平公的赏识，但是部分乐姓族人还是认为他就是乐姓的始祖，乐王鲋是复姓为“乐王”，所以他的后人最终将其简化为乐姓或者王姓。也形成了乐姓的一大分支。
3、源自官职名：乐姓还有部分族人则是源自官职名改姓而来的，比如西周初期负责奏乐的大司乐、乐人以及大乐正等，几乎都被统称为“乐正”，而这些官吏的后代也就以“乐正氏”为姓了，经过世代的传承，最终简化为了乐姓或者伶姓。
4、源自地名：乐姓还有一脉是源自夜郎国中的乐王邑，也就是今天的贵州省黔西南地区，夜郎自大的成语就是出自这里，当时乐王邑也被称为金洲，这里的百姓在之后归顺于大汉朝，最终就进行了汉化，所以遗民就以故地为姓，也就是“乐王氏”，大多都是现代的苗族同胞，最终简化为乐姓和王姓。
5、源自避难改姓：与赵姓起源和来历一样，乐姓中其实也有少数改姓和赐姓而来的，比如南宋时期的抗金名将岳飞的后人就为了躲避秦桧的加害，于是将“岳”改为了同音的“乐”，最终分为三股逃到了南方，也就形成了乐姓氏族的一部分。
