mindformers.dataset

数据集模块,包含常用数据集、数据迭代器、数据增强操作等。

数据集

mindformers.dataset.CausalLanguageModelDataset

因果语言模型预训练数据集。

mindformers.dataset.ContrastiveLanguageImagePretrainDataset

CLIP(Contrastive Language-Image Pre-training)文图对比预训练数据集。

mindformers.dataset.KeyWordGenDataset

关键词生成数据集。

mindformers.dataset.MultiTurnDataset

多轮对话数据集。