我找到了一个适合我的解决方案。
我可以使用react-app-rewired更改webpack配置，而不是将webpack.config文件放在根目录中。
更多信息：https://github.com/timarney/react-app-rewired
然后，在config-overrides.js文件中，我做了以下更改：

module.exports = function override(config, env) {
  //do stuff with the webpack config...
  
  let RuleToAdd = {
    test: /\.html$/,
    loader: "html-loader",
    options: {minimize: true}
  };
  config.module.rules.push(RuleToAdd);

  return config;
}

现在，使用require("./about.html")工作正常。