Contenido Overview 
 
 
 
 
 
 
 
 
 
 Instalación Ahorro de APIs de entrenamiento de tf.keras Escritura de puntos de control Comprobación manual Carga mecánica Restauraciones aplazadas Inspección manual de los puntos de control Objeto de rastreo Resumen La frase "Salvar un modelo de TensorFlow" normalmente significa una de dos cosas: 
 
 
 puntos de control, o El modelo salvaje. Los puntos de control capturan el valor exacto de todos los parámetros ( Los puntos de control no contienen ninguna descripción del cálculo definido por el modelo y, por lo tanto, suelen ser útiles sólo cuando está disponible el código fuente que utilizará los valores de parámetro guardados. tf.Variable El formato SavedModel, por otro lado, incluye una descripción serializada de la computación definida por el modelo además de los valores de parámetro (checkpoint). Los modelos en este formato son independientes del código fuente que creó el modelo. Por lo tanto, son adecuados para la implementación a través de TensorFlow Serving, TensorFlow Lite, TensorFlow.js, o programas en otros lenguajes de programación (el C, C++, Java, Go, Rust, C#, etc. APIs TensorFlow). Esta guía cubre APIs para escribir y leer puntos de control. Instalación import tensorflow as tf
 class Net(tf.keras.Model):
  """A simple linear model."""

  def __init__(self):
    super(Net, self).__init__()
    self.l1 = tf.keras.layers.Dense(5)

  def call(self, x):
    return self.l1(x)
 net = Net()
 ahorrar de Entrenamiento APIs Tf. de Keras Tf. de Keras Vea el Guía para ahorrar y restaurar. tf.keras Salvar un punto de control de TensorFlow. tf.keras.Model.save_weights net.save_weights('easy_checkpoint')
 Escritura de puntos de control El estado persistente de un modelo TensorFlow se almacena en Estos pueden ser construidos directamente, pero a menudo se crean a través de APIs de alto nivel como o . tf.Variable tf.keras.layers tf.keras.Model La forma más fácil de administrar las variables es anexándolas a los objetos de Python y luego referenciando esos objetos. Subclases de , de , y automáticamente rastrear las variables asignadas a sus atributos.El siguiente ejemplo construye un modelo lineal simple, luego escribe puntos de control que contienen valores para todas las variables del modelo. tf.train.Checkpoint tf.keras.layers.Layer tf.keras.Model Puede guardar fácilmente un modelo de punto de control con . Model.save_weights Comprobación manual Instalación Para ayudar a demostrar todas las características de , define un conjunto de datos de juguete y el paso de optimización: tf.train.Checkpoint def toy_dataset():
  inputs = tf.range(10.)[:, None]
  labels = inputs * 5. + tf.range(5.)[None, :]
  return tf.data.Dataset.from_tensor_slices(
    dict(x=inputs, y=labels)).repeat().batch(2)
 def train_step(net, example, optimizer):
  """Trains `net` on `example` using `optimizer`."""
  with tf.GradientTape() as tape:
    output = net(example['x'])
    loss = tf.reduce_mean(tf.abs(output - example['y']))
  variables = net.trainable_variables
  gradients = tape.gradient(loss, variables)
  optimizer.apply_gradients(zip(gradients, variables))
  return loss
 Crear los objetos de checkpoint Utilice a Objeto para crear manualmente un punto de control, donde los objetos que desea marcar se establecen como atributos en el objeto. tf.train.Checkpoint a También puede ser útil para la gestión de varios puntos de control. tf.train.CheckpointManager opt = tf.keras.optimizers.Adam(0.1)
dataset = toy_dataset()
iterator = iter(dataset)
ckpt = tf.train.Checkpoint(step=tf.Variable(1), optimizer=opt, net=net, iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, './tf_ckpts', max_to_keep=3)
 Tren y punto de control el modelo El siguiente ciclo de entrenamiento crea una instancia del modelo y de un optimizador, luego los reúne en una Llama el paso de entrenamiento en un ciclo en cada lote de datos, y periódicamente escribe los puntos de control en el disco. tf.train.Checkpoint def train_and_checkpoint(net, manager):
  ckpt.restore(manager.latest_checkpoint)
  if manager.latest_checkpoint:
    print("Restored from {}".format(manager.latest_checkpoint))
  else:
    print("Initializing from scratch.")

  for _ in range(50):
    example = next(iterator)
    loss = train_step(net, example, opt)
    ckpt.step.assign_add(1)
    if int(ckpt.step) % 10 == 0:
      save_path = manager.save()
      print("Saved checkpoint for step {}: {}".format(int(ckpt.step), save_path))
      print("loss {:1.2f}".format(loss.numpy()))
 train_and_checkpoint(net, manager)
 Recuperar y continuar la formación Después del primer ciclo de entrenamiento, puede pasar a un nuevo modelo y gerente, pero recoger el entrenamiento exactamente donde se detuvo: opt = tf.keras.optimizers.Adam(0.1)
net = Net()
dataset = toy_dataset()
iterator = iter(dataset)
ckpt = tf.train.Checkpoint(step=tf.Variable(1), optimizer=opt, net=net, iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, './tf_ckpts', max_to_keep=3)

train_and_checkpoint(net, manager)
 El El objeto elimina los puntos de control antiguos y está configurado para mantener solo los tres puntos de control más recientes. tf.train.CheckpointManager print(manager.checkpoints)  # List the three remaining checkpoints
 Estos caminos, por ejemplo. , no son archivos en el disco. En cambio, son prefixos para un archivo y uno o más archivos de datos que contienen los valores variables. Estos prefixos se agrupan en un El archivo ( ) donde el salvando su estado. './tf_ckpts/ckpt-10' index checkpoint './tf_ckpts/checkpoint' CheckpointManager ls ./tf_ckpts
 Carga mecánica TensorFlow ajusta las variables a los valores marcados a través de un gráfico dirigido con bordes nombrados, a partir del objeto que se carga. en . el utiliza sus nombres de palabras clave, como en el caso de en . "l1" self.l1 = tf.keras.layers.Dense(5) tf.train.Checkpoint "step" tf.train.Checkpoint(step=...) El gráfico de dependencia del ejemplo de arriba se ve así: El optimizador está en rojo, las variables regulares están en azul, y las variables de la ranura del optimizador están en naranja. Está en negro. tf.train.Checkpoint Las variables de ranura forman parte del estado del optimizador, pero se crean para una variable específica. Los bordes superiores corresponden al impulso, que el optimizador de Adam rastrea para cada variable. Las variables de slot solo se guardan en un punto de control si tanto la variable como el optimizador se guardarían, por lo tanto, los bordes deslizados. 'm' llamando es a Objeto de la cola de las restauraciones solicitadas, restableciendo los valores variables tan pronto como haya un camino de Por ejemplo, puede cargar sólo los vicios del modelo que ha definido anteriormente reconstruyendo un camino a través de la red y la capa. restore tf.train.Checkpoint Checkpoint to_restore = tf.Variable(tf.zeros([5]))
print(to_restore.numpy())  # All zeros
fake_layer = tf.train.Checkpoint(bias=to_restore)
fake_net = tf.train.Checkpoint(l1=fake_layer)
new_root = tf.train.Checkpoint(net=fake_net)
status = new_root.restore(tf.train.latest_checkpoint('./tf_ckpts/'))
print(to_restore.numpy())  # This gets the restored value.
 El gráfico de dependencia para estos nuevos objetos es un subgrafo mucho más pequeño del punto de control más grande que escribiste anteriormente. Utilice el número de puntos de control. tf.train.Checkpoint Devuelve un objeto de estado, que tiene afirmaciones opcionales.Todos los objetos creados en el nuevo Ha sido restaurado, así los pases. restore Checkpoint status.assert_existing_objects_matched status.assert_existing_objects_matched()
 Hay muchos objetos en el punto de control que no han coincidido, incluyendo el núcleo de la capa y las variables del optimizador. sólo pasa si el punto de control y el programa coinciden exactamente, y echaría una excepción aquí. status.assert_consumed Restauraciones aplazadas Los objetos en TensorFlow pueden aplazar la creación de variables a su primera llamada, cuando las formas de entrada están disponibles. el núcleo de la capa depende tanto de las formas de entrada como de salida de la capa, por lo que la forma de salida requerida como un argumento constructor no es suficiente información para crear la variable por sí sola. también lee el valor de la variable, un restablecimiento debe ocurrir entre la creación de la variable y su primer uso. Layer Dense Layer Para apoyar este idioma, Defers restaura que aún no tienen una variable de coincidencia. tf.train.Checkpoint deferred_restore = tf.Variable(tf.zeros([1, 5]))
print(deferred_restore.numpy())  # Not restored; still zeros
fake_layer.kernel = deferred_restore
print(deferred_restore.numpy())  # Restored
 Inspección manual de los puntos de control Regreso a que da acceso de nivel inferior al contenido del punto de control. Contiene mapas desde la clave de cada variable, hasta la forma y el tipo d de cada variable en el punto de control. La clave de una variable es su camino de objeto, como en los gráficos mostrados anteriormente. tf.train.load_checkpoint CheckpointReader 
 
 Nota: No hay estructura de nivel superior para el punto de control. sólo conoce los caminos y valores de las variables, y no tiene concepto de modelos, capas o cómo están conectados. Nota: No hay estructura de nivel superior para el punto de control. sólo conoce los caminos y valores de las variables, y no tiene concepto de modelos, capas o cómo están conectados. reader = tf.train.load_checkpoint('./tf_ckpts/')
shape_from_key = reader.get_variable_to_shape_map()
dtype_from_key = reader.get_variable_to_dtype_map()

sorted(shape_from_key.keys())
 Si te interesa el valor de Puedes obtener el valor con el siguiente código: net.l1.kernel key = 'net/l1/kernel/.ATTRIBUTES/VARIABLE_VALUE'

print("Shape:", shape_from_key[key])
print("Dtype:", dtype_from_key[key].name)
 También proporciona a Método que permite inspeccionar el valor de una variable: get_tensor reader.get_tensor(key)
 Objeto de rastreo Los puntos de control almacenan y restauran los valores de Objetos mediante el "tracking" de cualquier objeto variable o rastreable establecido en uno de sus atributos. Cuando se ejecuta un guardar, las variables se recogen recursivamente de todos los objetos rastreados alcanzables. tf.Variable Al igual que con las atribuciones directas como , asignando listas y diccionarios a atributos seguirá su contenido. self.l1 = tf.keras.layers.Dense(5) save = tf.train.Checkpoint()
save.listed = [tf.Variable(1.)]
save.listed.append(tf.Variable(2.))
save.mapped = {'one': save.listed[0]}
save.mapped['two'] = save.listed[1]
save_path = save.save('./tf_list_example')

restore = tf.train.Checkpoint()
v2 = tf.Variable(0.)
assert 0. == v2.numpy()  # Not restored yet
restore.mapped = {'two': v2}
restore.restore(save_path)
assert 2. == v2.numpy()
 Puede notar objetos de envasado para listas y diccionarios. Estos envases son versiones punteables de las estructuras de datos subyacentes. Al igual que la carga basada en atributos, estos envases devuelven el valor de una variable tan pronto como se agrega al contenedor. restore.listed = []
print(restore.listed)  # ListWrapper([])
v1 = tf.Variable(0.)
restore.listed.append(v1)  # Restores v1, from restore() in the previous cell
assert 1. == v1.numpy()
 Los objetos rastreables incluyen , de y sus subclases (por ejemplo. y , y reconocieron contenedores de Python: tf.train.Checkpoint tf.Module keras.layers.Layer keras.Model 
 
 
 
 dict (y colecciones.OrderedDict) Listado tuple (y colecciones.namedtuple, typing.NamedTuple) Otros tipos de contenedores , incluyendo a : not supported 
 
 
 Colecciones.defaultdict Sete Todos los otros objetos de Python son , incluyendo a : ignored 
 
 
 
 Int String flota Resumen Los objetos TensorFlow proporcionan un mecanismo automático fácil para guardar y restaurar los valores de las variables que utilizan. 
 
 Originalmente publicado en el sitio web de TensorFlow, este artículo aparece aquí bajo un nuevo título y está licenciado bajo CC BY 4.0. Originalmente publicado en el sitio web de TensorFlow, este artículo aparece aquí bajo un nuevo título y está licenciado bajo CC BY 4.0. TensorFlow TensorFlow

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Este audio es producido en el idioma original de la historia!

Cómo guardar y cargar modelos de TensorFlow

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps