如何让HMM在Tensorflow中处理实值数据

pod7payv  于 2023-03-03  发布在  其他
关注(0)|答案(2)|浏览(143)

我正在处理一个包含物联网设备数据的数据集,我发现隐马尔可夫模型非常适合我的用例。因此,我尝试修改Tensorflow教程中的一些代码,我找到了here。数据集包含观察变量的实值,并与教程中显示的计数数据进行了比较。
特别是,我认为以下需要改变,使隐马尔可夫模型有正态分布的发射。不幸的是,我找不到任何代码如何改变模型有一个不同的发射以外的泊松。
我应该如何修改代码以发出正态分布的值?

# Define variable to represent the unknown log rates.
trainable_log_rates = tf.Variable(
  np.log(np.mean(observed_counts)) + tf.random.normal([num_states]),
  name='log_rates')

hmm = tfd.HiddenMarkovModel(
  initial_distribution=tfd.Categorical(
      logits=initial_state_logits),
  transition_distribution=tfd.Categorical(probs=transition_probs),
  observation_distribution=tfd.Poisson(log_rate=trainable_log_rates),
  num_steps=len(observed_counts))

rate_prior = tfd.LogNormal(5, 5)

def log_prob():
 return (tf.reduce_sum(rate_prior.log_prob(tf.math.exp(trainable_log_rates))) +
         hmm.log_prob(observed_counts))

optimizer = tf.keras.optimizers.Adam(learning_rate=0.1)

@tf.function(autograph=False)
def train_op():
  with tf.GradientTape() as tape:
    neg_log_prob = -log_prob()
  grads = tape.gradient(neg_log_prob, [trainable_log_rates])[0]
  optimizer.apply_gradients([(grads, trainable_log_rates)])
  return neg_log_prob, tf.math.exp(trainable_log_rates)
q3qa4bjr

q3qa4bjr1#

示例模型假设排放量x为泊松分布,具有由潜在变量z确定的四个速率之一。因此,它定义了可训练速率(或对数速率),定义了具有z上的均匀初始分布的HMM、转移概率和来自泊松分布的观测值,其中对数速率由可训练速率给定。
为了更改为正态分布,您说x应该是正态分布,其可训练均值和标准差由潜在变量z确定。因此,您需要将trainable_log_rates替换为trainable_loctrainable_scale,并更改

observation_distribution=tfd.Poisson(log_rate=trainable_log_rates)

observation_distribution=tfd.Normal(loc=trainable_loc, scale=trainable_scale)

然后,您需要将您的rate_prior替换为您选择的loc_priorscale_prior,并使用它们来计算新的log_prob函数。

daolsyd0

daolsyd02#

@mCoding的答案是正确的,在Tensorflow发布的示例中,您有一个具有均匀零分布([0.,0.,0.,0.])的隐马尔可夫模型,一个重对角转移矩阵,发射概率为泊松分布。
为了使其适应“正态”示例,您只需将这些概率更改为“正态”概率。例如,假设您的发射概率正态分布,参数为:

training_loc =  tf.Variable([0.,0.,0.,0.])
training_scale = tf.Variable([1.,1.,1.,1.])

那么observation_distribution将是:

observation_distribution = tfp.distributions.Normal(loc= training_loc, scale=training_scale )

最后,您还必须更改有关这些参数的先验知识,设置prior_locprior_scale。您可能需要考虑无信息/弱信息先验,因为我看到您在之后拟合模型。
因此,您的代码应类似于:

# Define the emission probabilities.
training_loc =  tf.Variable([0.,0.,0.])
training_scale = tf.Variable([1.,1.,1.])
observation_distribution = tfp.distributions.Normal(loc= training_loc, scale=training_scale ) #Change this to your desired distribution

hmm = tfd.HiddenMarkovModel(
  initial_distribution=tfd.Categorical(
      logits=initial_state_logits),
  transition_distribution=tfd.Categorical(probs=transition_probs),
  observation_distribution=observation_distribution,
  num_steps=len(observed_counts))

# Prior distributions
prior_loc = tfd.Normal(loc=0., scale=1.)
prior_scale = tfd.HalfNormal(scale=1.)

def log_prob():
  log_probability = hmm.log_prob(data)#Use your training data right here
  # Compute the log probability of the prior on the mean and standard deviation of the observation distribution
  log_probability += tf.reduce_sum(prior_mean.log_prob(observation_distribution.loc))
  log_probability += tf.reduce_sum(prior_scale.log_prob(observation_distribution.scale))
  # Return the negative log probability, since we want to minimize this quantity
  return log_probability 

optimizer = tf.keras.optimizers.Adam(learning_rate=0.1)

# Finally train the model like in the example

losses = tfp.math.minimize(
    lambda: -log_prob(),
    optimizer=tf.optimizers.Adam(learning_rate=0.1),
    num_steps=100)

现在如果你看参数training_loctraining_scale,它们应该有拟合值。

相关问题