TensorFlowの最も過小評価された機能 - 拡張タイプでスマートなモデルを構築する

コンテンツ概要 Tensor API ディスパッチ Dispatch for a Single API(単一の API) Dispatch for all unary elementwise APIs (すべてのunary elementwise API) BINARY ALL ELEMENTVISELY APIs Batchable 拡張型 BatchableExtensionType example: ネットワーク ExtensionTypes をサポートする TensorFlow API トップ > 機能 フロー・コントロール・オペレーション Autograph Control Flow カラス 保存モデル データ Tensor API ディスパッチ Extension types can be "tensor-like", in the sense that they specialize or extend the interface defined by the 例:Tensor-like extension types include で、 そして、 で。 TensorFlow は tensor-like extension types に適用された場合に TensorFlow 操作のデフォルトの動作を上回るのに使用できます。 tf.Tensor RaggedTensor SparseTensor MaskedTensor デコレーションディスパッチ デコレーションディスパッチ @tf.experimental.dispatch_for_api(tf_api) @tf.experimental.dispatch_for_unary_elementwise_apis(x_type) @tf.experimental.dispatch_for_binary_elementwise_apis(x_type, y_type) Dispatch for a Single API(単一の API) THE decorator は、指定された署名で呼び出された場合に、指定された TensorFlow 操作のデフォルトの動作を省略します。 プロセス 価値観: tf.experimental.dispatch_for_api tf.stack MaskedTensor @tf.experimental.dispatch_for_api(tf.stack) def masked_stack(values: List[MaskedTensor], axis = 0): return MaskedTensor(tf.stack([v.values for v in values], axis), tf.stack([v.mask for v in values], axis)) これにより、デフォルトの実装は 名簿で呼ばれるたびに 価値観(その頃から) argument is annotated with ) : tf.stack MaskedTensor values typing.List[MaskedTensor] x = MaskedTensor([1, 2, 3], [True, True, False]) y = MaskedTensor([4, 5, 6], [False, True, True]) tf.stack([x, y]) 許すこと ミックスリストの取り扱い そして 値は、あなたはそのためのタイプの注釈を改良することができます。 パラメータと機能の体を適切に更新する: tf.stack MaskedTensor Tensor values tf.experimental.unregister_dispatch_for(masked_stack) def convert_to_masked_tensor(x): if isinstance(x, MaskedTensor): return x else: return MaskedTensor(x, tf.ones_like(x, tf.bool)) @tf.experimental.dispatch_for_api(tf.stack) def masked_stack_v2(values: List[Union[MaskedTensor, tf.Tensor]], axis = 0): values = [convert_to_masked_tensor(v) for v in values] return MaskedTensor(tf.stack([v.values for v in values], axis), tf.stack([v.mask for v in values], axis)) x = MaskedTensor([1, 2, 3], [True, True, False]) y = tf.constant([4, 5, 6]) tf.stack([x, y, x]) アップロードできる API のリストについては、API ドキュメントを参照してください。 . tf.experimental.dispatch_for_api Dispatch for all unary elementwise APIs (すべてのunary elementwise API) THE decorator overrides the default behavior of unary elementwise ops (such as ) 最初の数値の値が表示されるたびに(通常は ) matches the type of annotation (注記の種類に匹敵する) デコレート関数は2つの論点を取るべきである。 tf.experimental.dispatch_for_unary_elementwise_apis すべて tf.math.cos x x_type すべて api_func: 単一のパラメータを採用し、elementwise 操作(例えば tf.abs)を実行する関数。 x: elementwise 操作の最初の論点。 次の例では、すべての unary elementwise 操作を更新して、 タイプ: MaskedTensor @tf.experimental.dispatch_for_unary_elementwise_apis(MaskedTensor) def masked_tensor_unary_elementwise_api_handler(api_func, x): return MaskedTensor(api_func(x.values), x.mask) この関数は、Unary elementwise オペレーションが呼ばれるたびに使用されます。 . MaskedTensor x = MaskedTensor([1, -2, -3], [True, False, True]) print(tf.abs(x)) print(tf.ones_like(x, dtype=tf.float32)) BINARY ALL ELEMENTVISELY APIs 同様に、 すべての binary elementwise オペレーションを更新するために使用できます。 タイプ: tf.experimental.dispatch_for_binary_elementwise_apis MaskedTensor @tf.experimental.dispatch_for_binary_elementwise_apis(MaskedTensor, MaskedTensor) def masked_tensor_binary_elementwise_api_handler(api_func, x, y): return MaskedTensor(api_func(x.values, y.values), x.mask & y.mask) x = MaskedTensor([1, -2, -3], [True, False, True]) y = MaskedTensor([[4], [5]], [[True], [False]]) tf.math.add(x, y) Overridden されている Elementwise API の一覧については、API ドキュメントにアクセスします。 そして . tf.experimental.dispatch_for_unary_elementwise_apis tf.experimental.dispatch_for_binary_elementwise_apis バッチャー s ExtensionType 拡張型 アン は 単一のインスタンスが値のバッチを表すために使用できる場合. Typically, this is accomplished by adding batch dimensions to all nested s. 次の TensorFlow API は、いかなる拡張タイプの入力もバッチ可能であることを要求します。 ExtensionType バッチャー Tensor tf.data.Dataset (batch、unbatch、from_tensor_slices) tf.keras(フィット、評価、予測) tf.map_fn デフォルトで、 Batching any nested をバッチすることによってバッチされた値を作成する Sさん、 S、および s. これがクラスに適さない場合は、使用する必要があります。 このデフォルトの動作を無視するには、たとえば、バッチを作成するのが適切ではありません。 単純に個々のスパーステナーを積み重ねることによる値」 で、 そして、 フィールド - ほとんどの場合、これらのテンサーは、互換性のない形状を持っているので、これらのテンサーを積み重ねることができません。 . BatchableExtensionType Tensor CompositeTensor ExtensionType tf.experimental.ExtensionTypeBatchEncoder tf.SparseTensor values indices dense_shape SparseTensor 注: BatchableExtensionTypes は、tf.stack、tf.concat、tf.slice などのディスパイヤーを自動的に定義しません。 うーん 自動的にディスパイヤーを設定する で、 で、 あなたのクラスがこれらのAPIによってサポートされる必要がある場合は、上記のディスパッチデコレーターを使用してください。 Note: BatchableExtensionType ノー tf.stack tf.concat tf.slice 例: BatchableExtensionType Network たとえば、単純な例として、 load balancing に使用されるクラスは、各ノードで残された作業の量と、ノード間で作業を移動するための帯域幅の量を追跡します。 Network class Network(tf.experimental.ExtensionType): # This version is not batchable. work: tf.Tensor # work[n] = work left to do at node n bandwidth: tf.Tensor # bandwidth[n1, n2] = bandwidth from n1->n2 net1 = Network([5., 3, 8], [[0., 2, 0], [2, 0, 3], [0, 3, 0]]) net2 = Network([3., 4, 2], [[0., 2, 2], [2, 0, 2], [2, 2, 0]]) このタイプをバッチ可能にするには、ベースタイプを変更して、 , 各フィールドの形を調整して、オプションのバッチサイズを含む。 バッチの形を追跡するためのフィールド。This フィールドは必要ありません。 または しかし、それ 要望 by . BatchableExtensionType shape shape tf.data.Dataset tf.map_fn は tf.keras class Network(tf.experimental.BatchableExtensionType): shape: tf.TensorShape # batch shape. A single network has shape=[]. work: tf.Tensor # work[*shape, n] = work left to do at node n bandwidth: tf.Tensor # bandwidth[*shape, n1, n2] = bandwidth from n1->n2 def __init__(self, work, bandwidth): self.work = tf.convert_to_tensor(work) self.bandwidth = tf.convert_to_tensor(bandwidth) work_batch_shape = self.work.shape[:-1] bandwidth_batch_shape = self.bandwidth.shape[:-2] self.shape = work_batch_shape.merge_with(bandwidth_batch_shape) def __repr__(self): return network_repr(self) def network_repr(network): work = network.work bandwidth = network.bandwidth if hasattr(work, 'numpy'): work = ' '.join(str(work.numpy()).split()) if hasattr(bandwidth, 'numpy'): bandwidth = ' '.join(str(bandwidth.numpy()).split()) return (f" ") net1 = Network([5., 3, 8], [[0., 2, 0], [2, 0, 3], [0, 3, 0]]) net2 = Network([3., 4, 2], [[0., 2, 2], [2, 0, 2], [2, 2, 0]]) batch_of_networks = Network( work=tf.stack([net1.work, net2.work]), bandwidth=tf.stack([net1.bandwidth, net2.bandwidth])) print(f"net1={net1}") print(f"net2={net2}") print(f"batch={batch_of_networks}") あなたはその後、使用することができます ネットワークのバッチを通してイーテレする: tf.data.Dataset dataset = tf.data.Dataset.from_tensor_slices(batch_of_networks) for i, network in enumerate(dataset): print(f"Batch element {i}: {network}") また、あなたは使用することができます 各バッチ要素に機能を適用する: map_fn def balance_work_greedy(network): delta = (tf.expand_dims(network.work, -1) - tf.expand_dims(network.work, -2)) delta /= 4 delta = tf.maximum(tf.minimum(delta, network.bandwidth), -network.bandwidth) new_work = network.work + tf.reduce_sum(delta, -1) return Network(new_work, network.bandwidth) tf.map_fn(balance_work_greedy, batch_of_networks) サポートする TensorFlow API s ExtensionType 拡張型 トップ > 機能 あなたのTensorFlowコードのパフォーマンスを大幅に向上させるPython機能のためのTensorFlowグラフを予算するデコレータです。 デコレート機能 tf.function @tf.function class Pastry(tf.experimental.ExtensionType): sweetness: tf.Tensor # 2d embedding that encodes sweetness chewiness: tf.Tensor # 2d embedding that encodes chewiness @tf.function def combine_pastry_features(x: Pastry): return (x.sweetness + x.chewiness) / 2 cookie = Pastry(sweetness=[1.2, 0.4], chewiness=[0.8, 0.2]) combine_pastry_features(cookie) 明確に指定したい場合は、 のために , then you can do so using the extension type's を使用して、 . input_signature tf.function TypeSpec pastry_spec = Pastry.Spec(tf.TensorSpec([2]), tf.TensorSpec(2)) @tf.function(input_signature=[pastry_spec]) def increase_sweetness(x: Pastry, delta=1.0): return Pastry(x.sweetness + delta, x.chewiness) increase_sweetness(cookie) 具体的な機能 Concrete functions encapsulate individual traced graphs that are built by 拡張タイプは、具体的な機能で透明に使用できます。 tf.function cf = combine_pastry_features.get_concrete_function(pastry_spec) cf(cookie) フロー・コントロール・オペレーション 拡張タイプは、TensorFlowのコントロールフロー操作によってサポートされています。 トップ > Cond TFケース tf.while_loop トップページ TF アイデンティティ # Example: using tf.cond to select between two MaskedTensors. Note that the # two MaskedTensors don't need to have the same shape. a = MaskedTensor([1., 2, 3], [True, False, True]) b = MaskedTensor([22., 33, 108, 55], [True, True, True, False]) condition = tf.constant(True) print(tf.cond(condition, lambda: a, lambda: b)) # Example: using tf.while_loop with MaskedTensor. cond = lambda i, _: i < 10 def body(i, mt): return i + 1, mt.with_values(mt.values + 3 / 7) print(tf.while_loop(cond, body, [0, b])[1]) Autograph Control Flow Extension types are also supported by control flow statements in コントロール フロー ステートメント (下記の例では、 声明および 表示は自動的に変換されます。 そして 拡張タイプをサポートするオペレーション tf.function if for tf.cond tf.while_loop @tf.function def fn(x, b): if b: x = MaskedTensor(x, tf.less(x, 0)) else: x = MaskedTensor(x, tf.greater(x, 0)) for i in tf.range(5 if b else 7): x = x.with_values(x.values + 1 / 2) return x print(fn(tf.constant([1., -2, 3]), tf.constant(True))) print(fn(tf.constant([1., -2, 3]), tf.constant(False))) カラス 深層学習モデルの構築とトレーニングのためのTensorFlowの高レベルのAPIです. Extension types can be passed as inputs to a Keras model, passed between Keras layers, and returned by Keras models. Keras currently puts two requirements on extension types: TF・ケラス それらはバッチ可能でなければなりません(上記の「Batchable ExtensionTypes」にアクセスしてください)。 They must have a field or property called shape. shape[0] is assumed to be the batch dimension. 彼らは形と呼ばれるフィールドまたは属性を持たなければなりません。 次の 2 つのサブセクションは、Keras で拡張タイプがどのように使用されるかを示す例を示しています。 キャラの例: ネットワーク ネットワーク 第一の例として、考えてみましょう。 「Batchable」で定義されたクラス s」上のセクションは、ノード間の負荷バランス作業に使用できます。その定義はここで繰り返されます: Network ExtensionType class Network(tf.experimental.BatchableExtensionType): shape: tf.TensorShape # batch shape. A single network has shape=[]. work: tf.Tensor # work[*shape, n] = work left to do at node n bandwidth: tf.Tensor # bandwidth[*shape, n1, n2] = bandwidth from n1->n2 def __init__(self, work, bandwidth): self.work = tf.convert_to_tensor(work) self.bandwidth = tf.convert_to_tensor(bandwidth) work_batch_shape = self.work.shape[:-1] bandwidth_batch_shape = self.bandwidth.shape[:-2] self.shape = work_batch_shape.merge_with(bandwidth_batch_shape) def __repr__(self): return network_repr(self) single_network = Network( # A single network with 4 nodes. work=[8.0, 5, 12, 2], bandwidth=[[0.0, 1, 2, 2], [1, 0, 0, 2], [2, 0, 0, 1], [2, 2, 1, 0]]) batch_of_networks = Network( # Batch of 2 networks, each w/ 2 nodes. work=[[8.0, 5], [3, 2]], bandwidth=[[[0.0, 1], [1, 0]], [[0, 2], [2, 0]]]) プロセスを処理する新しい Keras 層を定義できます。 Sさん Network class BalanceNetworkLayer(tf.keras.layers.Layer): """Layer that balances work between nodes in a network. Shifts work from more busy nodes to less busy nodes, constrained by bandwidth. """ def call(self, inputs): # This function is defined above in the "Batchable `ExtensionType`s" section. return balance_work_greedy(inputs) これらの層を使用して、シンプルなモデルを作成できます。 モデルとして、あなたはA レイヤー with extension type の設定 Keras モデルがバッチ処理に使用される場合、 バッチサイズを含む必要があります。 ExtensionType tf.keras.layer.Input type_spec TypeSpec type_spec input_spec = Network.Spec(shape=None, work=tf.TensorSpec(None, tf.float32), bandwidth=tf.TensorSpec(None, tf.float32)) model = tf.keras.Sequential([ tf.keras.layers.Input(type_spec=input_spec), BalanceNetworkLayer(), ]) 最後に、モデルを単一のネットワークおよび複数のネットワークに適用できます。 model(single_network) model(batch_of_networks) タグ : マスク この例では、 サポートに拡大 で。 資産として定義されているのは、 Keras では、この属性を拡張型と拡張型の両方に追加する必要があります。 で。 定義 A 必要となる変数は、 シリアル化(下) MaskedTensor Keras shape values TypeSpec MaskedTensor __name__ SavedModel class MaskedTensor(tf.experimental.BatchableExtensionType): # __name__ is required for serialization in SavedModel; see below for details. __name__ = 'extension_type_colab.MaskedTensor' values: tf.Tensor mask: tf.Tensor shape = property(lambda self: self.values.shape) dtype = property(lambda self: self.values.dtype) def with_default(self, default): return tf.where(self.mask, self.values, default) def __repr__(self): return masked_tensor_str(self.values, self.mask) class Spec: def __init__(self, shape, dtype=tf.float32): self.values = tf.TensorSpec(shape, dtype) self.mask = tf.TensorSpec(shape, tf.bool) shape = property(lambda self: self.values.shape) dtype = property(lambda self: self.values.dtype) def with_shape(self): return MaskedTensor.Spec(tf.TensorSpec(shape, self.values.dtype), tf.TensorSpec(shape, self.mask.dtype)) 次に、ディスパッチデコレーターは、いくつかのTensorFlow APIのデフォルトの動作を上回るために使用されます。 これらのレイアウトは、これらのレイアウトを使用することを可能にする。 この例の目的のために、 for masked tensors is defined to treat the masked values as zeros (that is, to not include them in the product) (マスクされた tensorsは、マスクされた値をゼロとして扱う(すなわち、製品に含まない)ことを定義します。 Dense MaskedTensor matmul @tf.experimental.dispatch_for_unary_elementwise_apis(MaskedTensor) def unary_elementwise_op_handler(op, x): return MaskedTensor(op(x.values), x.mask) @tf.experimental.dispatch_for_binary_elementwise_apis( Union[MaskedTensor, tf.Tensor], Union[MaskedTensor, tf.Tensor]) def binary_elementwise_op_handler(op, x, y): x = convert_to_masked_tensor(x) y = convert_to_masked_tensor(y) return MaskedTensor(op(x.values, y.values), x.mask & y.mask) @tf.experimental.dispatch_for_api(tf.matmul) def masked_matmul(a: MaskedTensor, b, transpose_a=False, transpose_b=False, adjoint_a=False, adjoint_b=False, a_is_sparse=False, b_is_sparse=False, output_type=None): if isinstance(a, MaskedTensor): a = a.with_default(0) if isinstance(b, MaskedTensor): b = b.with_default(0) return tf.matmul(a, b, transpose_a, transpose_b, adjoint_a, adjoint_b, a_is_sparse, b_is_sparse, output_type) その後、受け入れられる Keras モデルを構築できます。 標準の Keras レイヤーを使用するインプット: MaskedTensor input_spec = MaskedTensor.Spec([None, 2], tf.float32) masked_tensor_model = tf.keras.Sequential([ tf.keras.layers.Input(type_spec=input_spec), tf.keras.layers.Dense(16, activation="relu"), tf.keras.layers.Dense(1)]) masked_tensor_model.compile(loss='binary_crossentropy', optimizer='rmsprop') a = MaskedTensor([[1., 2], [3, 4], [5, 6]], [[True, False], [False, True], [True, True]]) masked_tensor_model.fit(a, tf.constant([[1], [0], [1]]), epochs=3) print(masked_tensor_model(a)) 保存モデル A 重量と計算の両方を含む TensorFlow プログラムです。それは Keras モデルまたはカスタム モデルから構築することができます。どちらの場合でも、拡張タイプは、SavedModel によって定義された機能と方法で透明に使用できます。 保存モデル SavedModel では、拡張タイプが 1 つある限り、拡張タイプを処理するモデル、レイヤー、および関数を保存できます。 この名前は、拡張タイプを登録するために使用されるため、モデルがロードされているときに位置づけられます。 __name__ 例:Kerasモデルを保存する 拡張型を使用する Keras モデルは、拡張型を使用して保存できます。 . SavedModel masked_tensor_model_path = tempfile.mkdtemp() tf.saved_model.save(masked_tensor_model, masked_tensor_model_path) imported_model = tf.saved_model.load(masked_tensor_model_path) imported_model(a) Example: Save a Custom モデル SavedModel は、カスタムを保存することもできます。 拡張タイプを処理する関数を持つサブクラス。 tf.Module class CustomModule(tf.Module): def __init__(self, variable_value): super().__init__() self.v = tf.Variable(variable_value) @tf.function def grow(self, x: MaskedTensor): """Increase values in `x` by multiplying them by `self.v`.""" return MaskedTensor(x.values * self.v, x.mask) module = CustomModule(100.0) module.grow.get_concrete_function(MaskedTensor.Spec(shape=None, dtype=tf.float32)) custom_module_path = tempfile.mkdtemp() tf.saved_model.save(module, custom_module_path) imported_model = tf.saved_model.load(custom_module_path) imported_model.grow(MaskedTensor([1., 2, 3], [False, True, False])) SavedModel をロードするとき 未利用 ExtensionType 拡張型 もしあなたがAをロードするなら これを使用するA しかし、その このオブジェクトは、オリジナルのタイプと同じフィールドを持っていますが、カスタマイズ方法や属性などの種類に追加した追加のカスタマイズが欠けます。 SavedModel ExtensionType ExtensionType 利用 TensorFlow Serving 拡張型 拡張型 現在、 (そしてSavedModelの「サイン」辞書の他の消費者は)すべての入力と出力が原始のテンサーであることを要求します。 拡張型を使用するモデルでTensorFlow Servingを使用したい場合は、拡張型から拡張型の値を構成または分解するウラッパーメソッドを追加できます。 TensorFlow サービス class CustomModuleWrapper(tf.Module): def __init__(self, variable_value): super().__init__() self.v = tf.Variable(variable_value) @tf.function def var_weighted_mean(self, x: MaskedTensor): """Mean value of unmasked values in x, weighted by self.v.""" x = MaskedTensor(x.values * self.v, x.mask) return (tf.reduce_sum(x.with_default(0)) / tf.reduce_sum(tf.cast(x.mask, x.dtype))) @tf.function() def var_weighted_mean_wrapper(self, x_values, x_mask): """Raw tensor wrapper for var_weighted_mean.""" return self.var_weighted_mean(MaskedTensor(x_values, x_mask)) module = CustomModuleWrapper([3., 2., 8., 5.]) module.var_weighted_mean_wrapper.get_concrete_function( tf.TensorSpec(None, tf.float32), tf.TensorSpec(None, tf.bool)) custom_module_path = tempfile.mkdtemp() tf.saved_model.save(module, custom_module_path) imported_model = tf.saved_model.load(custom_module_path) x = MaskedTensor([1., 2., 3., 4.], [False, True, False, True]) imported_model.var_weighted_mean_wrapper(x.values, x.mask) s Dataset 単純で再利用可能なパーツから複雑な入力パイプラインを構築することを可能にするAPIです。 それぞれの要素が1つまたは複数のコンポーネントから構成される要素の順序を表す。 tf.data tf.data.Dataset 建物 S 拡張タイプ データセット データセット 拡張型の値からデータセットを構築できます。 で、 あるいは : Dataset.from_tensors Dataset.from_tensor_slices Dataset.from_generator ds = tf.data.Dataset.from_tensors(Pastry(5, 5)) iter(ds).next() mt = MaskedTensor(tf.reshape(range(20), [5, 4]), tf.ones([5, 4])) ds = tf.data.Dataset.from_tensor_slices(mt) for value in ds: print(value) def value_gen(): for i in range(2, 7): yield MaskedTensor(range(10), [j%i != 0 for j in range(10)]) ds = tf.data.Dataset.from_generator( value_gen, output_signature=MaskedTensor.Spec(shape=[10], dtype=tf.int32)) for value in ds: print(value) Batching と Unbatching S 拡張タイプ データセット データセット Extension types with datasets can be batchand and unbatched using 拡張型を持つデータセット そして . Dataset.batch Dataset.unbatch batched_ds = ds.batch(2) for value in batched_ds: print(value) unbatched_ds = batched_ds.unbatch() for value in unbatched_ds: print(value) 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 TensorFlowについて TensorFlowについて