from PIL import Image
import os

def resize_image(image_path, max_size=1024):
    """调整图像大小，同时保持宽高比"""
    with Image.open(image_path) as img:
        # 计算宽高比
        aspect_ratio = img.width / img.height
        
        # 确定新尺寸，保持宽高比
        if img.width > img.height:
            new_width = max_size
            new_height = int(max_size / aspect_ratio)
        else:
            new_height = max_size
            new_width = int(max_size * aspect_ratio)
        
        # 调整大小并保存
        resized_img = img.resize((new_width, new_height), Image.Resampling.LANCZOS)
        resized_img.save(image_path)
        print(f"已调整并保存: {image_path} 到 {new_width}x{new_height}")

import os
import csv
import base64
from PIL import Image
from openai import OpenAI

# 初始化OpenAI客户端
client = OpenAI(api_key="YOUR_API_KEY")

def generate_question_answer_pairs(image_base64):
    """根据给定图像生成问答对"""
    # 添加base64图像数据的前缀
    image_data_url = f"data:image/png;base64,{image_base64}"
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {
                "role": "system",
                "content": [
                    {
                        "type": "text",
                        "text": """# 角色: 视觉语言模型数据集生成器
# 任务: 分析给定图像，生成基于图像中文本和信息的问答对列表。
问题应关注图像中呈现的关键信息。
对于每个问题，如果答案在图像中，提供准确答案。
如果信息不存在或无法从图像中识别，使用"不存在"作为答案。
避免在可能的情况下使用特定的个人姓名。
目标是创建正面和负面答案集，训练模型理解和区分可用和不可用的信息。

# 步骤
1. 检查图像中的关键信息。
2. 在适用的情况下识别以下元素：
  
例如：
  - 组织名称
  - 标题和角色
  - 日期（生效日期、到期日等）
  - 签名
  - 特定条款、短语或数字
  
3. 根据这些识别的元素制定问题。
4. 确定每个问题的答案，无论是直接可用还是"不存在"。

# 输出格式

- CSV格式，两列："问题"和"答案"。
- 每行代表一个问答对。
- 按如下格式格式化每个条目："问题","答案"
- 确保输出结构，每个问答对占一行。
- 用```csv和```包围，便于后处理。
"""
                    }
                ]
            },
            {
                "role": "user",
                "content": [
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": image_data_url
                        }
                    }
                ]
            }
        ],
        temperature=1,
        max_tokens=2048
    )
    
    # 提取和清理响应文本
    response_text = response.choices[0].message.content
    # 删除```csv分隔符并去除额外的三引号
    clean_csv = response_text.replace("```csv", "").replace("```", "").strip()
    clean_csv = clean_csv.replace('"""', '"')  # 将三引号替换为单引号
    
    # 过滤掉不需要的标题行
    cleaned_lines = [
        line for line in clean_csv.splitlines()
        if not line.lower().strip().startswith(("question", "answer"))  # 删除任何标题行
    ]
    
    return "\n".join(cleaned_lines)

def process_images_in_folder(folder_path, output_csv_path):
    """扫描文件夹中的图像，调整大小，使用GPT-4o处理每个图像，并将结果保存到CSV文件中"""
    # 打开或创建CSV文件以追加数据
    with open(output_csv_path, mode='a', newline='') as csvfile:
        csv_writer = csv.writer(csvfile)
        
        # 如果文件为空，写入标题
        if os.stat(output_csv_path).st_size == 0:
            csv_writer.writerow(['图像名称', '问题', '答案'])
        
        # 遍历指定文件夹中的每个图像
        for image_filename in os.listdir(folder_path):
            if image_filename.lower().endswith(('.png', '.jpg', '.jpeg')):
                image_path = os.path.join(folder_path, image_filename)
                
                # 调整图像至合适的大小
                resize_image(image_path, max_size=1024)
                
                # 将调整后的图像转换为base64
                with open(image_path, "rb") as image_file:
                    image_base64 = base64.b64encode(image_file.read()).decode('utf-8')
                
                # 使用模型生成问答对
                qa_pairs = generate_question_answer_pairs(image_base64)
                
                # 将清理后的CSV数据拆分为行，并将每行与图像名称一起写入
                for row in qa_pairs.splitlines():
                    question, answer = row.split(',', 1)
                    csv_writer.writerow([image_filename, question.strip(), answer.strip()])

# 定义文件夹路径和输出CSV路径
input_folder_path = "images"
output_csv_path = "output.csv"

# 处理图像并生成CSV
process_images_in_folder(input_folder_path, output_csv_path)

同时这些问答对也让专业领域同事进行二次校正，以确保生成的数据在汽车专业领域的准确性和适用性。

#### 4.1.3 准备适合LLaMA-Factory的数据集格式

为了适配LLaMA-Factory的训练需求，需要将生成的CSV数据转换为特定格式：

```python
import os
import pandas as pd
from datasets import Dataset, Features, Image, Value
from huggingface_hub import HfApi

# 读取CSV文件
csv_file_path = 'output.csv'  # 替换为您的CSV文件路径
images_folder_path = 'images'  # 替换为您的图像文件夹路径
df = pd.read_csv(csv_file_path)

# 按图像名称分组数据
grouped_data = df.groupby('图像名称')

# 准备HuggingFace数据集数据
data_list = []
for image_name, group in grouped_data:
    messages = []
    # 加载图像路径（这里不需要用PIL打开图像）
    image_path = os.path.normpath(os.path.join(images_folder_path, image_name))
    
    for idx, row in group.iterrows():
        # 为所有用户问题添加<image>标签
        user_message = row['问题'] + "<image>"  # 为每个问题添加<image>
        messages.append({"role": "user", "content": user_message})
        messages.append({"role": "assistant", "content": row['答案']})
    
    entry = {
        "messages": messages,
        "images": [image_path] * len(group)  # 存储图像路径
    }
    data_list.append(entry)

# 定义数据集特征
features = Features({
    'messages': [{'role': Value('string'), 'content': Value('string')}],
    'images': [Image()]  # 将'images'特征指定为Image类型列表
})

# 转换为HuggingFace数据集
dataset = Dataset.from_list(data_list, features=features)

# 上传到HuggingFace Hub
dataset_repo_id = "your_username/your-dataset-name"  # 替换为您的HuggingFace用户名和数据集名称
hf_token = "YOUR_HF_TOKEN"  # 替换为您的HuggingFace令牌

# 推送数据集到HuggingFace Hub
api = HfApi()
api.create_repo(repo_id=dataset_repo_id, token=hf_token, repo_type="dataset", exist_ok=True, private=True)
dataset.push_to_hub(dataset_repo_id, token=hf_token)
print(f"数据集已上传至HuggingFace Hub上的 {dataset_repo_id}")

from peft import LoraConfig

# LoRA配置
lora_config = LoraConfig(
    lora_alpha=16,             # 缩放因子，控制了更新的强度
    lora_dropout=0.05,         # LoRA层中的dropout率，避免过拟合
    r=8,                       # 低秩矩阵的秩，是权衡性能和参数量的关键参数
    bias="none",               # 是否包含偏置项
    task_type="CAUSAL_LM",     # 指定任务类型为因果语言模型
    target_modules=[           # 需要应用LoRA的模块
        "q_proj",              # 查询投影矩阵
        "k_proj",              # 键投影矩阵
        "v_proj",              # 值投影矩阵
        "o_proj"               # 输出投影矩阵
    ]
)

# 训练参数配置
train_config = {
    "output_dir": "qwen2-vl-automotive",    # 输出目录
    "num_train_epochs": 3,                  # 训练轮数
    "per_device_train_batch_size": 4,       # 每个设备的训练批次大小
    "per_device_eval_batch_size": 4,        # 每个设备的评估批次大小
    "gradient_accumulation_steps": 8,       # 梯度累积步骤，有效增大批量大小
    "learning_rate": 2e-4,                  # 学习率
    "lr_scheduler_type": "cosine",          # 学习率调度器类型
    "bf16": True,                           # 使用bf16混合精度训练，在支持的GPU上更高效
    "tf32": True,                           # 启用tf32计算（对于支持tf32的GPU）
    "max_grad_norm": 0.3,                   # 梯度裁剪阈值
    "warmup_ratio": 0.03,                   # 预热比例
    "push_to_hub": True,                    # 训练后将模型推送到Hub
    "evaluation_strategy": "steps",         # 评估策略，按步骤评估
    "eval_steps": 500,                      # 评估间隔
    "save_strategy": "steps",               # 保存策略，按步骤保存
    "save_steps": 500,                      # 保存间隔
    "logging_steps": 10,                    # 日志记录间隔
    "report_to": ["tensorboard"],           # 报告工具，使用tensorboard记录训练过程
    "optim": "adamw_torch_fused",           # 优化器，使用fused AdamW实现，节省内存
    "fp16": False,                          # 不使用fp16（因为使用了bf16）
    "save_total_limit": 3                   # 保存的检查点总数限制
}

# 1. 首先在dataset_info.json中添加自定义数据集配置
custom_dataset_config = {
    "your_dataset_name": {
        "hf_hub_url": "your_username/your-dataset-name",
        "formatting": "sharegpt",
        "columns": {
            "messages": "messages",
            "images": "images"
        },
        "tags": {
            "role_tag": "role",
            "content_tag": "content",
            "user_tag": "user",
            "assistant_tag": "assistant"
        }
    }
}

# 2. 使用LLaMA-Factory CLI进行微调
# 准备训练配置文件
training_config = {
    "stage": "sft",
    "do_train": True,
    "model_name_or_path": "Qwen/Qwen2-VL-7B-Instruct",
    "dataset": "your_dataset_name",
    "template": "qwen2_vl",
    "finetuning_type": "lora",
    "lora_target": "all",
    "output_dir": "qwen2vl_lora",
    "per_device_train_batch_size": 2,
    "gradient_accumulation_steps": 4,
    "lr_scheduler_type": "cosine",
    "logging_steps": 10,
    "warmup_ratio": 0.1,
    "save_steps": 1000,
    "learning_rate": 5e-5,
    "num_train_epochs": 3.0,
    "max_samples": 500,
    "max_grad_norm": 1.0,
    "loraplus_lr_ratio": 16.0,
    "fp16": True,
    "use_liger_kernel": True,
}

# 3. 使用CLI命令运行训练
# !llamafactory-cli train training_config.json