不知何故，我在Stack Overflow本身找到了答案。根据我的需要定制了一点。
删除所有远程标记，但保留最新标记

git describe --abbrev=0 --tags `git rev-list --tags --skip=1` | xargs -n 1 git push --delete origin

删除所有本地标签但保留最新标签

git describe --abbrev=0 --tags `git rev-list --tags --skip=1` | xargs -n 1 git tag -d

要在本地删除所有标记（即使是Windows）：

git tag -d `git tag | grep -E '.'`

我找到了解决方案here。

我不相信有一种方法可以在Git CLI中选择性地删除标签。可能有一些工具可以让你这样做，但我不知道有任何工具。你可以写一个小脚本来达到预期的效果。下面是一个PowerShell的片段，它将达到预期的效果。要运行它，你需要posh-git。

git tag -l | Out-File E:\Git\DemoRepo\tags.txt

$lines = Get-Content E:\Git\DemoRepo\tags.txt | Measure-Object -Line

Write-Host "Number of lines: $($lines.Lines)"

$numberOfOlderTags = $lines.Lines - 1

$tagsToDelete = Get-Content E:\Git\DemoRepo\tags.txt | Select-Object -First $numberOfOlderTags

foreach($tagToDelete in $tagsToDelete)
{
    git tag --delete $tagToDelete
}