我正在学习preprocessing layers的官方Tensorflow教程,我不知道为什么在分类编码后会得到这些额外的列。
以下是一个精简的最小可重复示例(包括数据):
import numpy as np
import pandas as pd
import tensorflow as tf
from tensorflow.keras import layers
from tensorflow.keras.layers.experimental import preprocessing
import pathlib
dataset_url = 'http://storage.googleapis.com/download.tensorflow.org/data/petfinder-mini.zip'
csv_file = 'datasets/petfinder-mini/petfinder-mini.csv'
tf.keras.utils.get_file('petfinder_mini.zip', dataset_url, extract=True, cache_dir='.')
df = pd.read_csv(csv_file)
# In the original dataset "4" indicates the pet was not adopted.
df['target'] = np.where(df['AdoptionSpeed']==4, 0, 1)
# Drop un-used columns.
df = df.drop(columns=['AdoptionSpeed', 'Description'])
# A utility method to create a tf.data dataset from a Pandas Dataframe
def df_to_dataset(dataframe, shuffle=True, batch_size=32):
dataframe = dataframe.copy()
labels = dataframe.pop('target')
ds = tf.data.Dataset.from_tensor_slices((dict(dataframe), labels))
if shuffle:
ds = ds.shuffle(buffer_size=len(dataframe))
ds = ds.batch(batch_size)
ds = ds.prefetch(batch_size)
return ds
batch_size = 5
ds = df_to_dataset(df, batch_size=batch_size)
[(train_features, label_batch)] = ds.take(1)
def get_category_encoding_layer(name, dataset, dtype, max_tokens=None):
# Create a StringLookup layer which will turn strings into integer indices
if dtype == 'string':
index = preprocessing.StringLookup(max_tokens=max_tokens)
else:
index = preprocessing.IntegerLookup(max_values=max_tokens)
# Prepare a Dataset that only yields our feature
feature_ds = dataset.map(lambda x, y: x[name])
# Learn the set of possible values and assign them a fixed integer index.
index.adapt(feature_ds)
# Create a Discretization for our integer indices.
encoder = preprocessing.CategoryEncoding(max_tokens=index.vocab_size())
#encoder = preprocessing.CategoryEncoding(max_tokens=2)
# Prepare a Dataset that only yields our feature.
feature_ds = feature_ds.map(index)
# Learn the space of possible indices.
encoder.adapt(feature_ds)
# Apply one-hot encoding to our indices. The lambda function captures the
# layer so we can use them, or include them in the functional model later.
return lambda feature: encoder(index(feature))
所以,跑完之后
type_col = train_features['Type']
layer = get_category_encoding_layer('Type', ds, 'string')
layer(type_col)
我得到一个结果:
<tf.Tensor: shape=(5, 4), dtype=float32, numpy=
array([[0., 0., 1., 0.],
[0., 0., 1., 0.],
[0., 0., 0., 1.],
[0., 0., 0., 1.],
[0., 0., 0., 1.]], dtype=float32)>
类似于教程中所示的。
请注意,这是一个二元分类问题(猫/狗):
np.unique(type_col)
# array([b'Cat', b'Dog'], dtype=object)
那么,在上面的结果中显示的分类编码之后的2个额外列的逻辑是什么?它们代表什么,为什么是2(而不是1、3或更多)?
(我非常清楚,如果我想要一个简单的one-hot编码,我可以简单地使用to_categorical()
,但这不是这里的问题)
1条答案
按热度按时间gtlvzcf81#
正如问题中已经暗示的那样,分类编码比简单的独热编码更丰富。要查看这两列表示的内容,只需在
get_category_encoding_layer()
函数中添加一个诊断print
即可:最后一个命令的结果将是:
这个提示应该很清楚:这里额外的两列分别表示空值
''
和未知值'[UNK]'
,它们 * 可能 * 出现在未来(看不见的)数据中。这实际上是由默认参数确定的,不是
CategoryEncoding
的,而是前面的StringLookup
的;关于docs:您可以通过请求
oov_token=''
而不是oov_token='[UNK]'
来获得更紧凑的编码(只有1个额外的列而不是2个);将get_category_encoding_layer()
函数中对StringLookup
的调用替换为之后,结果将是:
即只有3列(没有用于
'[UNK]'
的专用列)。AFAIK,这是你能达到的最低值-尝试将mask_token
和oov_token
都设置为None
将导致错误。