ludwig 使用多个输入文件训练模型

57hvy0tb  于 2个月前  发布在  其他
关注(0)|答案(4)|浏览(21)

你好,

我使用一个.csv输入文件训练了一个模型,现在我想用许多其他输入文件继续训练这个模型(每个文件包含少量数据,我有成千上万个这样的文件。此外,它们的结构很重要,所以将它们合并到一个包含大量数据的文件中会丢失我想要的结构)。

在成功地使用第一个.csv文件训练了模型之后,我想用其他文件继续训练同一个模型。

我在这个问题中看到有人建议使用--model_load_path,所以我尝试了以下命令:

ludwig train --data_csv C:/Users/user/Desktop/DataSet/SecondInputFile.csv --model_load_path C:/Windows/System32/results/experiment_run_12 (这是使用第一个输入文件训练的模型的路径)

但是我得到了错误 "ludwig train: error: one of the arguments -md/--model_definition -mdf/--model_definition_file is required"。我尝试了许多其他组合,但都没有成功。

谢谢你的帮助!

k4emjkb1

k4emjkb11#

你需要提供用于训练模型的第一个文件中的模型定义,对吗?这样可以解决这个错误。

luaexgnf

luaexgnf2#

谢谢,

有一件事情不太清楚:如果我要加载一个现有的模型,为什么我还需要再次提供模型定义?我正在加载的模型中不应该已经存在这个信息吗?

ki1q1bka

ki1q1bka3#

是的,这是一个公平的观点。我们应该能够从文件夹中加载模型定义。我将把它标记为一个增强功能。

lb3vh1jj

lb3vh1jj4#

谢谢,
有一点我不太明白:如果我要加载一个现有的模型,为什么我还需要再次提供模型定义?这个信息不应该已经存在于我正在加载的模型中吗?
原因是ludwig需要重新构建模型图来加载其权重,而它正是从模型定义开始的。如果你使用--model_load_path,那么模型定义可能与你正在加载的模型略有不同(例如,你使用了相同的模型,但是使用了不同的最后一层来获得不同的分类)。为了在未来允许这种情况,我们让它变得如此,以便您还必须指定模型定义。在您的情况中,无论如何,模型定义都位于您保存模型的同一目录中,因此应该很容易找到并使用它。

相关问题