您不应该在任何正在进行单元测试的方法中使用ShowDialog，也不应该在任何其他类型的对话框或UI中使用ShowDialog。
一个可能的解决方法是注入一个接口，类似于IMessageDialog，可以在单元测试中模拟。
例如：

public interface IDatabaseTableDialog
{
    bool ShowTable(string filepath, Control parentControl);
}
public class MockDatabaseTableDialog : IDatabaseTableDialog
{
    public bool ShowTable(string filepath, Control parentControl) => true;
}
public class DatabaseTableDialog : IDatabaseTableDialog
{
    public bool ShowTable(string filepath, Control parentControl)
    {
        var tableSelection = new DatabaseTableSelection(filepath, parentControl);
        tableSelection.Topmost = true;
        tableSelection.ShowDialog();
        if (tableSelection.selectedTable == null)
        {
            return false;
        }

        return true;
    }
}

注意，如果你能把所有的功能封装到一个方法中，模拟会更容易，否则你可能需要两个接口，一个用于创建对话框，另一个用于对话框本身。
但是UI越复杂，模拟就越复杂，这使得单元测试编写起来越慢，价值也就越低。
所以我倾向于使用的方法是确保ShowDialog或任何其他类型的UI被限制在特定的UI类或viewModel中，并尝试将任何复杂的逻辑从这些类中移走。这样就可以用单元测试来测试复杂的逻辑，并进行手动测试来检查UI是否按预期工作。有一些工具可以自动进行UI测试，但我还没有看到一个我认为值得努力的。