根据this answer中推荐的方法，解决方案是创建两个partial indexes。
使用sqlalchemy作为问题中的例子，看起来像：

class OptionTable(Base):
    __tablename__ = "option_table"

    id = Column(Integer, primary_key=True)
    custom_id = Column(Integer, ForeignKey("custom.id"), nullable=True)
    client = Column(String, nullable=False)
    option = Column(String, nullable=False)

    __table_args__ = (
        Index(
            "uix_custom_client_option", 
            "custom_id", 
            "client", 
            "option", 
            unique=True, 
            postgresql_where=custom_id.isnot(None)
        ),
        Index(
            "uix_client_option", 
            "client",  
            "option", 
            unique=True, 
            postgresql_where=custom_id.is_(None)
        ),
    )

字符串

我会做

CREATE UNIQUE INDEX ON atable
   (client, option, coalesce(custom_id, -42));

字符集
其中，-42是一个值，对于custom_id，该值不能出现。
它是如何产生作用的？
如果有两行具有相同的client、option和custom_id，并且都是NOT NULL，则它将像常规唯一索引一样工作，并将阻止添加第二行。
如果有两个具有相同client和option的数据列，而且这两个数据列都具有custom_id IS NULL，则索引会防止加入第二个数据列，因为它会索引-42而非NULL，而且这两个索引Tuple会相同。

有没有一种方法可以使null被视为一个值？
从Postgres 15开始，有一种方法是增加了子句**NULLS NOT DISTINCT**。你的索引现在可以是：

CREATE UNIQUE INDEX uix_custom_client_option ON test_table(custom, client, option) NULLS NOT DISTINCT;

字符集
注意：null在同一索引的所有索引列中被视为一个值（与另一个null冲突），而不仅仅是在option中。但这无论如何都是无效的，而custom和client被定义为NOT NULL。
详细信息：

• 使用空列创建唯一约束

我为NULLS NOT DISTINCT创建了一个自定义编译器参数

from sqlalchemy.ext.compiler import compiles
from sqlalchemy import UniqueConstraint

UniqueConstraint.argument_for("postgresql", 'nulls_not_distinct', None)

@compiles(UniqueConstraint, "postgresql")
def compile_create_uc(create, compiler, **kw):
    """Add NULLS NOT DISTINCT if its in args."""
    stmt = compiler.visit_unique_constraint(create, **kw)
    postgresql_opts = create.dialect_options["postgresql"]

    if postgresql_opts.get("nulls_not_distinct"):
        return stmt.rstrip().replace("UNIQUE (", "UNIQUE NULLS NOT DISTINCT (")
    return stmt

class OptionTable(Base):
    __tablename__ = "option_table"
    __table_args__ = (
        UniqueConstraint(
            "custom", "client", "option", 
            postgresql_nulls_not_distinct=True,  # here it is.
            name="uix_custom_client_option"),
    )

字符集
请注意，Alembic处理得很好。