使用场景

使用SEED-Story生成基于特定历史事件的多模态故事。

结合用户上传的图片，生成个性化的儿童故事书。

为电影或游戏创作提供初始的故事概念和视觉设计。

产品特色

生成多模态长篇故事：结合文本和图片生成连贯的故事。

基于用户输入的图片和文本：作为故事的起点。

支持最多25个多模态序列的故事生成：尽管训练时最多使用10个序列。

图像风格和角色一致性：确保生成的图片在风格和角色上与故事文本一致。

大规模数据集StoryStream：为训练和基准测试多模态故事生成而设计。

模型权重和训练代码的发布：提供预训练的Tokenizer、De-Tokenizer和基础模型SEED-X。

支持指令调整：通过指令调整进一步优化模型性能。

使用教程

1. 克隆SEED-Story仓库到本地环境。

2. 安装依赖包，根据requirements.txt配置Python环境。

3. 下载并准备StoryStream数据集，用于训练和测试。

4. 使用提供的脚本进行数据集的分块处理，以提高训练效率。

5. 下载并保存预训练的模型权重到指定文件夹。

6. 运行inference脚本进行多模态故事生成。

7. 利用可视化脚本展示生成的故事和多模态注意力。

8. 通过GPT4 API进行生成结果的评估。