langchain Standardize DocumentLoader docstrings and integration do

yc0p9oo0  于 6个月前  发布在  其他
关注(0)|答案(1)|浏览(51)

特权问题

  • 我是 LangChain 的维护者,或者直接被 LangChain 的维护者要求在这里创建一个问题。

问题内容

问题

为了让我们的文档加载器集成尽可能易于使用,我们需要确保它们的文档详尽且标准化。这分为两部分:更新文档加载器的文档字符串和更新实际的集成文档。
这需要为每个 DocumentLoader 集成完成,理想情况下每个 DocumentLoader 有一个 PR。
与更广泛的 #21983#22005 相关。

文档字符串

每个 DocumentLoader 类的文档字符串应该包含下面的章节。当相关时,这些章节应该有输入和输出代码块。参见 RecursiveUrlLoader 文档字符串和 corresponding API reference 示例。

文档页面

每个 DocumentLoader docs page 应该遵循 this template。参见 RecursiveUrlLoader 示例。
您可以使用 langchain-cli 快速开始新的文档加载器集成文档页面(从仓库根目录运行):

poetry run pip install -e libs/cli
poetry run langchain-cli integration create-doc --name "foo-bar" --name-class FooBar --component-type "DocumentLoader" --destination-dir ./docs/docs/integrations/document_loaders/

其中 --name 是集成包名,不带 "langchain-" 前缀,--name-class 是类名,不带 "Loader" 后缀。这将创建一个带有一些自动填充字段的模板文档在 docs/docs/integrations/document_loaders/foo_bar.ipynb。
要构建文档预览,您可以从根目录运行:

make docs_clean
make docs_build
cd docs/build/output-new
yarn
yarn start

相关问题