可以看到，不仅人物眼睛等细节非常高清，眨眼前后的连贯性也是hold住了。
值得一提的是，智谱AI的CogVideoX是包含多个不一样的尺寸，而这次开源的是CogVideoX-2B。
它在FP-16精度下的推理仅需18GB显存，微调则只需要40GB显存，这在某种程度上预示着单张4090显卡即可进行推理，而单张A6000显卡就可以完成微调。
据了解，这个模型已经支持在HuggingFace的diffusers库中进行部署，操作也是格外的简单，只有2步：
可以看到，生成后的结果不但可以以.mp4的方式下载，还提供了GIF的格式。
智谱AI这次不仅是将视频生成模型开源，背后的技术报告也是一并被发布了出来。
（3D VAE），将原视频空间压缩至2%大小，大幅度减少了视频扩散生成模型的训练成本及训练难度。模型结构包括编码器、解码器和潜在空间正则化器，通过四个阶段的下采样和上采样实现压缩。时间因果卷积确保了信息的因果性，减少了通信开销。团队采用上下文并行技术以适应大规模视频处理。
因此，团队分两阶段训练模型：首先在较低帧率和小批量上训练，然后通过上下文并行在更高帧率上进行微调。训练损失函数结合了L2损失、LPIPS感知损失和3D判别器的GAN损失。
。团队使用VAE的编码器将视频压缩至潜在空间，然后将潜在空间分割成块并展开成长的序列嵌入z_vision。
同时，他们使用T5，将文本输入编码为文本嵌入z_text，然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。
最后，团队反向拼接嵌入来恢复原始潜在空间形状，并使用VAE进行解码以重建视频。
了。团队开发了负面标签来识别和排除低质量视频，如过度编辑、运动不连贯、质量低下、讲座式、文本主导和屏幕噪音视频。
通过video-llama训练的过滤器，他们标注并筛选了20000个视频数据点。同时，计算光流和美学分数，动态调整阈值，确保生成视频的质量。
视频数据通常没有文本描述，需要转换为文本描述以供文本到视频模型训练。现有的视频字幕数据集字幕较短，无法全面描述视频内容。
为此，团队还提出了一种从图像字幕生成视频字幕的管道，并微调端到端的视频字幕模型以获得更密集的字幕。
这种方法通过Panda70M模型生成简短字幕，使用CogView3模型生成密集图像字幕，然后使用GPT-4模型总结生成最终的短视频。
他们还微调了一个基于CogVLM2-Video和Llama 3的CogVLM2-Caption模型，使用密集字幕数据来进行训练，以加速视频字幕生成过程。
也有新动作——Gen-3 Alpha的文生视频，现在支持把“喂”进去的图片，不但可以作为视频的第一帧，也可当作视频的最后一帧。
上海女子称陌生女孩酷似自己试管得来的女儿要求亲子鉴定，对方家属：自然生育，已报警
咸阳秦都区确认“外地女子在出租屋去世”属实：初步排除他杀，未尸检难判定死因
突然爆雷！百果园预计利润暴跌，股价年内跌超70%！网友：月薪两万吃不起！
与中坚力量共成长，2024建信信托艺术大奖评委会特别奖获奖艺术家凌海鹏