Geboren wird er am 4. März 1947 in Mysen, Norwegen als Sohn des ehemaligen polnischen Kriegsgefangenen Czeslaw Garbarek und der norwegischen Bauerntochter Kari Nilsdotter. Garbarek wächst in Oslo auf.