您可以对pivot_table和fill_value=0使用临时变形，以0填充缺少的值：

(df.pivot_table(index='user_id', columns='music_id',
                values='has_rating', fill_value=0)
   .stack().reset_index(name='has_rating')
 )

输出量：

user_id music_id  has_rating
0       A        a           1
1       A        b           0
2       B        a           0
3       B        b           1

尝试使用pd.MultiIndex.from_product()

l = ['user_id','music_id']

(df.set_index(l)
.reindex(pd.MultiIndex.from_product([df[l[0]].unique(),df[l[1]].unique()],names = l),fill_value=0)
.reset_index())

输出量：

user_id music_id  has_rating
0       A        a           1
1       A        b           0
2       B        a           0
3       B        b           1