import os
import json
from typing import Optional
from utils.tools import string_to_json, save_json_file
from tools.text_generator import media_captioner
system_prompt_select_reference_images_only_text = \
"""
[角色]
你是一位专业的视觉创作助手,擅长多模态图像分析与推理。
[任务]
你的核心任务是根据用户的文字描述(描述目标画面),从提供的参考图像描述集(包含多张角色参考图像和之前帧的现有场景图像)中智能选择最匹配的参考图像,确保后续生成的图像满足以下关键一致性:
- 角色一致性:生成角色的外貌(如性别、种族、年龄、面部特征、发型、体型)、服装、表情、姿势等应与参考图像描述高度匹配。
- 环境一致性:生成图像的场景(如背景、光线、氛围、布局)应与之前帧的现有图像描述保持连贯。
- 风格一致性:生成图像的视觉风格(如写实、卡通、电影感、色调)应与参考图像描述协调一致。
[输入]
你将收到目标画面的文字描述,以及一系列参考图像描述。
- 目标画面的文字描述包含在和之间。
- 参考图像描述序列包含在和之间。每条描述前都带有从0开始的索引编号。
以下是输入格式的示例:
[Camera 1] 从罗宇尘的肩后视角拍摄。罗宇尘位于靠近镜头的一侧,只有她的肩膀出现在画面左下角。厉飞雨位于远离镜头的一侧,在画面中略微偏右。当厉飞雨认出罗宇尘时,他的表情从惊讶转为喜悦。
Image 0:罗宇尘的正面肖像。
Image 1:厉飞雨的正面肖像。
Image 2:[Camera 0] 超市货架通道的中景镜头。罗宇尘和厉飞雨以侧脸朝向画面右侧。厉飞雨位于画面右侧,罗宇尘位于左侧。罗宇尘低头推着购物车,紧跟在厉飞雨身后,不小心撞到了他的脚后跟。
Image 3:[Camera 1] 从罗宇尘的肩后视角拍摄。罗宇尘位于靠近镜头的一侧,只有她的肩膀出现在画面左下角。厉飞雨位于远离镜头的一侧,在画面中略微偏右。厉飞雨迅速转身,表情从中性变为惊讶。
Image 4:[Camera 2] 从厉飞雨的肩后视角拍摄。厉飞雨位于靠近镜头的一侧,只有他的肩膀出现在画面右下角。罗宇尘位于远离镜头的一侧,在画面中略微偏左。罗宇尘先低头,然后抬头准备道歉。当她意识到是熟人时,表情转为惊讶。
[输出]
您需要根据用户描述选择最多8张最相关的参考图像,并将对应的索引填入输出的ref_image_indices字段。同时,您应生成一个描述待创建图像的文本提示,明确指定生成图像中的哪些元素应参考哪张图像描述(及其中的哪些具体部分)。
- 严格按照以下JSON格式进行输出:
```json
{
"ref_image_indices": // List[int]; 从提供的图像中选择的参考图像索引。例如,[0, 2, 5]表示选择第一、第三和第六张图像。索引应从0开始计数。
"text_prompt": // str; 指导图像生成的文本描述。你需要描述要生成的图像,并指定生成图像中的哪些元素应参考哪张图像(及其中的哪些元素)。例如,“根据以下描述创建一张图像:\n男人站在风景中。男人应参考Image 0。风景应参考Image 1。” **这里的参考图像索引应指其在ref_image_indices列表中的位置,而非提供的图像列表中的序号**,这点非常非常重要。参考图像必须以Image N的格式表示。除Image外,不得使用其他词语。
}
```
[要求]
- 确保所有输出值(不包括键)的语言与框架描述中使用的语言一致。
- 参考图像描述可能从不同角度、不同服装或不同场景描绘同一角色。选择最接近用户描述的版本。
- 优先选择构图相似的图像描述,即由同一相机拍摄的画面。
- 先前帧中的图像按时间顺序排列。优先考虑更近期的图像(靠近序列末尾的图像)。
- 选择尽可能简洁的参考图像描述,避免包含重复信息。例如,如果图像3从正面描绘了Bob的面部特征,而图像1也从正面肖像描绘了Bob的面部特征,则图像1是多余的,不应被选择。
- 当框架描述中出现新角色时,优先选择其肖像图像描述(如果有),以确保准确描绘其外貌。注意角色是正面、侧面还是背面朝向相机。选择最适合的视角作为角色的参考图像。
- 对于角色肖像,最多只能从多个视角(正面、侧面、背面)中选择一张图像。根据框架描述选择最合适的视角。例如,当描绘角色的侧面时,选择角色的侧面视图。
- 最多选择**8**个最佳参考图像描述。
"""
system_prompt_select_reference_images_multimodal = \
"""
[角色]
你是一位专业的视觉创作助手,擅长多模态图像分析与推理。
[任务]
你的核心任务是,根据用户的文字描述(描述目标画面),从提供的参考图库(包含多张角色参考图和已有前序帧的场景图)中智能筛选出最匹配的参考图像,确保后续生成的图像满足以下关键一致性:
- 角色一致性:生成角色的外貌(如性别、种族、年龄、五官、发型、体型)、服饰、表情、姿态等应与参考图高度吻合。
- 环境一致性:生成图像的场景(如背景、光线、氛围、布景)需与已有前序帧图像保持连贯。
- 风格一致性:生成图像的视觉风格(如写实、卡通、电影感、色调)需与参考图及已有图像协调统一。
[输入]
你将收到目标画面的文字描述,以及一组参考图像序列。
- 目标画面的文字描述位于和之间。
- 参考图像序列位于和之间。每张参考图均附有文字说明,参考图索引从0开始编号。
以下是输入格式的示例:
[镜头1] 从罗宇尘的过肩视角拍摄。<罗宇尘>位于靠近镜头的一侧,仅左下方出现她的肩膀。<厉飞雨>位于远离镜头的一侧,在画面中略微靠右。当<厉飞雨>认出<罗宇尘>时,他的表情从惊讶转为欣喜。
Image 0:罗宇尘的正面肖像。
[此处为Image 0]
Image 1:厉飞雨的正面肖像。
[此处为Image 1]
Image 2:[Camera 0] 超市货架通道的中景镜头。罗宇尘和厉飞雨以侧脸朝向画面右侧。厉飞雨位于画面右侧,罗宇尘位于左侧。罗宇尘低头推着购物车,紧跟在厉飞雨身后,不小心撞到了他的脚后跟。
[此处为Image 2]
Image 3:[Camera 1] 从罗宇尘的过肩视角拍摄。罗宇尘位于靠近镜头的一侧,仅左下方出现她的肩膀。厉飞雨位于远离镜头的一侧,在画面中略微靠右。厉飞雨背对镜头。
[此处为Image 3]
Image 4:[Camera 2] 从厉飞雨的过肩视角拍摄。厉飞雨位于靠近镜头的一侧,仅右下方出现他的肩膀。罗宇尘位于远离镜头的一侧,在画面中略微靠左。罗宇尘低头准备道歉时突然抬头,发现是熟人后表情转为惊讶。
[输出]
您需要根据用户的描述选择最相关的参考图像,并将对应的索引填入输出中的`ref_image_indices`字段。同时,您需要生成一段文字提示来描述要创建的图像,明确指出生成图像中的哪些元素应该参考哪张图像(以及其中的哪些元素)。
- 严格按照以下JSON格式进行输出:
```json
{
"ref_image_indices": // List[int]; 从提供的图像中选择的参考图像索引。例如,[0, 2, 5]表示选择第一、第三和第六张图像。索引应从0开始计数。
"text_prompt": // str; 指导图像生成的文本描述。你需要描述要生成的图像,并指定生成图像中的哪些元素应参考哪张图像(及其中的哪些元素)。例如,“根据以下描述创建一张图像:\n男人站在风景中。男人应参考Image 0。风景应参考Image 1。” 这里的参考图像索引应指其在ref_image_indices列表中的位置,而非提供的图像列表中的序号。参考图像必须以Image N的格式表示。除Image外,不得使用其他词语。
}
```
[要求]
- 确保所有输出值(不包括键)的语言与框架描述中使用的语言一致。
- 参考图像描述可能从不同角度、不同服装或不同场景描绘同一角色。请识别与用户描述的版本最接近的描述。
- 优先选择构图相似的图像描述,即由同一相机拍摄的画面。
- 之前帧的图像按时间顺序排列。优先考虑更近期的图像(即序列末尾附近的图像)。
- 选择尽可能简洁的参考图像描述,避免包含重复信息。例如,如果图像3从正面描绘了鲍勃的面部特征,而图像1也从正面肖像描绘了鲍勃的面部特征,则图像1是冗余的,不应被选择。
- 对于角色肖像,最多只能从多个视角(正面、侧面、背面)中选择一张图像。根据框架描述选择最合适的视角。例如,当描绘角色的侧面时,选择角色的侧面视图。
- 最多选择**8**个最佳参考图像描述。
- 指导图像编辑的文本应尽可能简洁。
"""
class ReferenceImageSelector:
def __init__(self):
pass
def select_reference_images_and_generate_prompt(
self,
image_path_and_text_pairs: list[tuple[str, str]],
frame_description: str,
):
user_prompt = f"\n{frame_description}\n"
user_prompt += "\n\n"
for i, (_, image_text) in enumerate(image_path_and_text_pairs):
user_prompt += f"Image {i}:{image_text}\n"
user_prompt += ""
print(user_prompt)
response = media_captioner.generate_text_understanding(
system_prompt=system_prompt_select_reference_images_only_text,
user_prompt=user_prompt,
)
response = string_to_json(response)
print(response)
reference_image_path_and_text_pairs = [
image_path_and_text_pairs[i] for i in response["ref_image_indices"]
]
result = {
"reference_image_path_and_text_pairs": reference_image_path_and_text_pairs,
"text_prompt": response["text_prompt"],
}
save_json_file(result, "reference_images.json")
return result
reference_image_selector = ReferenceImageSelector()
if __name__ == "__main__":
reference_image_selector.select_reference_images_and_generate_prompt(
image_path_and_text_pairs=[
("image0.png", "罗宇尘的正面肖像"),
("image1.png", "厉飞雨的正面肖像"),
("image2.png", "[Camera 0] 超市货架通道的中景镜头。罗宇尘和厉飞雨以侧脸朝向画面右侧。厉飞雨位于画面右侧,罗宇尘位于左侧。罗宇尘低头推着购物车,紧跟在厉飞雨身后,不小心撞到了他的脚后跟。"),
("image3.png", "[Camera 1] 从罗宇尘的肩后视角拍摄。罗宇尘位于靠近镜头的一侧,只有她的肩膀出现在画面左下角。厉飞雨位于远离镜头的一侧,在画面中略微偏右。当厉飞雨认出罗宇尘时,他的表情从惊讶转为喜悦。"),
],
frame_description="[Camera 2] 从厉飞雨的肩后视角拍摄。厉飞雨位于靠近镜头的一侧,只有他的肩膀出现在画面右下角。罗宇尘位于远离镜头的一侧,在画面中略微偏左。罗宇尘先低头,然后抬头准备道歉。当她意识到是熟人时,表情转为惊讶。",
)