我在解决一个类似的问题。是的，字符编码在java/hadoop中可能很棘手：）。
实际上，你已经很接近了-解决办法是：

data = LOAD '$input' USING PigStorage() AS (col1:bytearray);

问题是您将col1指定为chararray。chararray是“unicode utf-8格式的数组（字符串）”。但是，这对于iso-8859-1中的输入数据是不正确的。pig脚本将您的数据解释为utf-8而不是iso-8859-1。您应该改为指定bytearray。bytearray不以任何方式解释数据-您必须这样做（例如在您的udf函数中）。
在下一行中，我们需要处理每一行：

parsed = foreach a generate flatten(my.testparser($0));

然后，在udf函数（my.testparser（））中，我们将iso-8859-1编码更改为utf-8：

....
  val line:String = input.get(0).asInstanceOf[DataByteArray].get(), "windows-1250")
  ....

代码是用scala编写的（对不起，我不是python的人），它需要输入databytearray（pig中的bytearray）并获取scala.bytes的数组。这些字节被解释为windows-1250。
也就是说，您的自定义项应该保持不变，但是输入需要在pig中更改为tobytearray，在您的自定义项中更改为等效的数据类型
希望这有帮助

下面是python中定义的udf，对于那些不熟悉scala的人来说，它对我很有用：

# !/usr/bin/env python

# charsetConversion.py

import struct

@outputSchema("word:chararray")
def toUTF8(s):
        line = ‘.’join([struct.pack(‘B’, x).decode(‘iso-8859-1’) for x in s])
        return line

以下是pig命令，用于注册udf、加载数据、对数据应用udf，并获取该数据的样本，以检查解码是否按预期工作。

REGISTER 'charsetConversion.py' USING org.apache.pig.scripting.jython.JythonScriptEngine AS pyudf;
data = LOAD '$input' USING TextLoader AS (col1: bytearray);
final = FOREACH data GENERATE $0,pyudf.toUTF8(col1);
final_lim = LIMIT final 10;
DUMP final_lim;

正如xhudik在回答中提到的，这里的重要部分是将字段定义为字节数组。