使用正则表达式匹配是从字符串中提取“十六进制数字”的一种可能的方法。您要查找的是一个可选的“0x”，后跟正好2个十六进制数字。对应的正则表达式模式是"(0x)?([0-9a-f]{2})"。
然后，您可以将每个匹配转换为Character，最后将字符连接为String，这与您的“部分实现”非常相似。

init?(_ text: String, radix: Int = default)

这是Swift 2中的新功能。
该模式有两个“捕获组”（括在括号中），第一个匹配可选的“0x”，第二个匹配两个十六进制数字，对应的范围可以用rangeAtIndex(2)检索。
这将导致以下实现，该实现可以处理所有示例字符串：

func hexStringtoAscii(hexString : String) -> String {

    let pattern = "(0x)?([0-9a-f]{2})"
    let regex = try! NSRegularExpression(pattern: pattern, options: .CaseInsensitive)
    let nsString = hexString as NSString
    let matches = regex.matchesInString(hexString, options: [], range: NSMakeRange(0, nsString.length))
    let characters = matches.map {
        Character(UnicodeScalar(UInt32(nsString.substringWithRange($0.rangeAtIndex(2)), radix: 16)!))
    }
    return String(characters)
}

(See Swift extract regex matches，以了解转换为NSString的说明。）
请注意，这个函数是相当宽松的，它只搜索2位十六进制字符串，忽略所有其他字符，所以这也是可以接受的：

let str6 = "4d+-4c*/4e😈🇩🇪0x63"

Swift 5.1更新：

func hexStringtoAscii(_ hexString : String) -> String {

    let pattern = "(0x)?([0-9a-f]{2})"
    let regex = try! NSRegularExpression(pattern: pattern, options: .caseInsensitive)
    let nsString = hexString as NSString
    let matches = regex.matches(in: hexString, options: [], range: NSMakeRange(0, nsString.length))
    let characters = matches.map {
        Character(UnicodeScalar(UInt32(nsString.substring(with: $0.range(at: 2)), radix: 16)!)!)
    }
    return String(characters)
}