LSTM-VAE用于特征提取和数据降维

diUurpNYY

97人浏览 · 2026-03-23 10:15:00

diUurpNYY · 2026-03-23 10:15:00 发布

LSTM-VAE用于特征提取和数据降维采用的是自带minist 手写数据集，可以直接运行 python 代码，附带环境信息，基于tensorflow和keras框架可以替换为自己的数据集模型架构，训练过程，降维和还原效果见贴图

大家好！今天我要和大家分享一个非常有趣且实用的机器学习模型——基于LSTM的变分自编码器（LSTM-VAE）。这个模型结合了长短期记忆网络（LSTM）和变分自编码器（VAE）的优势，能够有效地进行时间序列数据的特征提取和降维。

什么是LSTM-VAE？

LSTM-VAE是一种深度学习模型，结合了LSTM和VAE的优势。LSTM擅长处理时间序列数据，而VAE则擅长生成高维数据并进行降维。将两者结合在一起，可以实现对时间序列数据的高效特征提取和降维。

使用场景

LSTM-VAE非常适合用于以下场景：

时间序列数据的降维
特征提取和降维
数据压缩
数据可视化
时间序列的生成和还原

实现代码

我们可以通过Keras和TensorFlow框架实现LSTM-VAE。以下是基于MNIST手写数据集的代码实现：

import numpy as np
import tensorflow as tf
from tensorflow.keras.layers import Input, LSTM, Dense, Lambda
from tensorflow.keras.models import Model
from tensorflow.keras.datasets import mnist

# 加载数据集
(x_train, y_train), (x_test, y_test) = mnist.load_data()

# 归一化数据
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.

# 添加时间维度
x_train = np.expand_dims(x_train, axis=1)
x_test = np.expand_dims(x_test, axis=1)

# 输入形状
input_shape = (None, 28, 28)

# 定义VAE
class VAE:
    def __init__(self, encoder, decoder):
        self.encoder = encoder
        self.decoder = decoder
        self.total_loss = []
    
    def train(self, x, epochs=50, batch_size=128):
        self.x_train = x
        self.epochs = epochs
        self.batch_size = batch_size
        
        optimizer = tf.keras.optimizers.Adam()
        loss_fn = tf.keras.losses.BinaryCrossentropy()
        
        for epoch in range(epochs):
            for i in range(0, len(x), batch_size):
                x_batch = x[i:i+batch_size]
                with tf.GradientTape() as tape:
                    reconstruction = self.decoder(self.encoder(x_batch))
                    loss = loss_fn(x_batch, reconstruction)
                gradients = tape.gradient(loss, self.trainable_variables)
                optimizer.apply_gradients(zip(gradients, self.trainable_variables))
            
            mean_loss = np.mean(self.total_loss)
            print(f"epoch {epoch+1}, loss: {mean_loss}")
    
    def encode(self, x):
        return self.encoder(x)
    
    def decode(self, z):
        return self.decoder(z)
    
    def get_latent(self, x):
        return self.encoder.predict(x)

# 定义LSTM-VAE模型
class LSTM_VAE(Model):
    def __init__(self, latent_dim, hidden_dim):
        super(LSTM_VAE, self).__init__()
        self.encoder = Sequential([
            LSTM(units=hidden_dim, input_shape=(None, 28, 28)),
            Dense(latent_dim, activation='relu'),
            Dense(latent_dim, activation='relu')
        ])
        
        self.decoder = Sequential([
            Dense(units=hidden_dim, activation='relu'),
            LSTM(units=hidden_dim, return_sequences=True),
            Dense(units=28*28, activation='sigmoid')
        ])
    
    def call(self, x):
        encoded = self.encoder(x)
        decoded = self.decoder(encoded)
        return decoded

# 参数设置
latent_dim = 2
hidden_dim = 64
epochs = 50
batch_size = 128

# 创建模型
model = LSTM_VAE(latent_dim, hidden_dim)

# 编译模型
model.compile(optimizer='adam', loss='binary_crossentropy')

# 训练模型
model.fit(x_train, x_train, epochs=epochs, batch_size=batch_size)

# 评估降维效果
x_test_encoded = model.get_latent(x_test)
x_test_reconstructed = model.predict(x_test)

# 可视化降维效果
import matplotlib.pyplot as plt

plt.figure(figsize=(10, 6))
plt.scatter(x_test_encoded[:, 0], x_test_encoded[:, 1], c=y_test[:1000])
plt.colorbar()
plt.title('LSTM-VAE降维效果')
plt.show()

# 可视化重建效果
plt.figure(figsize=(10, 6))
for i in range(10):
    plt.subplot(2, 5, i+1)
    plt.imshow(x_test[i].reshape(28, 28))
    plt.axis('off')
plt.title('原始数据')
plt.show()

plt.figure(figsize=(10, 6))
for i in range(10):
    plt.subplot(2, 5, i+1)
    plt.imshow(x_test_reconstructed[i].reshape(28, 28))
    plt.axis('off')
plt.title('重建数据')
plt.show()