작성자 주: 샤오홍슈(小红书)에서 오픈소스로 공개한 FireRed Image Edit 1.1 이미지 편집 모델을 상세히 분석합니다. 5대 핵심 능력, 벤치마크 데이터, 기술 아키텍처 및 API 연동 방법을 다루며, 알리바바 Qwen을 넘어선 오픈소스 SOTA 모델을 확인해보세요.
2026년 3월 3일, 샤오홍슈 FireRed 팀은 Diffusion Transformer 아키텍처 기반의 이미지 편집 기초 모델인 FireRed-Image-Edit 1.1을 발표했습니다. 이 모델은 ImgEdit, GEdit, REDEdit 등 3대 벤치마크 테스트에서 모두 오픈소스 SOTA를 달성했으며, 종합 점수 7.94점으로 알리바바의 Qwen-Image-Edit-2511(7.88점)을 제치고 현재 가장 강력한 오픈소스 이미지 편집 모델로 자리 잡았습니다.
핵심 가치: 이 글을 통해 FireRed Image Edit 1.1의 5대 핵심 능력, 기술 아키텍처의 혁신 포인트, 그리고 API를 통해 빠르게 서비스를 구현하는 방법을 확인하실 수 있습니다.
FireRed Image Edit 1.1 핵심 포인트
| 포인트 | 설명 | 강점 |
|---|---|---|
| 오픈소스 SOTA | ImgEdit 종합 점수 4.56, GEdit 종합 점수 7.94 | Qwen-Image-Edit 능가 |
| 얼굴 일관성 | 미분 가능한 일관성 손실 메커니즘, 안면 특징 고충실도 | 인물 사진 편집 시 왜곡 방지 |
| 다요소 융합 | 10개 이상의 요소 자유로운 조합 지원 | 에이전트 자동 크롭 및 합성 |
| 중영 이중 언어 | 1,673개 중영 이중 언어 편집 쌍 평가 | 중국어 프롬프트 네이티브 지원 |
| Apache 2.0 | 완전 오픈소스, 상업적 이용 가능 | 무료 상업 이용 가능 |
FireRed Image Edit 1.1이란 무엇인가요?
FireRed-Image-Edit은 샤오홍슈 FireRed 팀이 개발한 이미지 편집 기초 모델입니다. 일반적인 텍스트-이미지 변환(Text-to-Image) 모델과 달리, 이 모델은 이미지 편집(Image Editing)에 특화되어 있습니다. 원본 이미지의 핵심 내용을 유지하면서 자연어 프롬프트에 따라 이미지를 정밀하게 수정합니다.
최대 3개의 참조 이미지를 업로드하고, 원하는 편집 효과를 자연어(중국어 또는 영어)로 설명하면, 모델이 참조 이미지 내의 요소, 스타일, 인물을 지능적으로 결합하여 최종 결과물을 생성합니다.
1.1 버전의 주요 개선 사항은 다음과 같습니다:
- 인물 일관성 대폭 최적화: 배경 변경, 스타일 변환 시 얼굴 특징을 훨씬 정확하게 유지
- 다요소 융합 강화: 복잡한 다중 이미지 조합 시나리오 처리에 최적화
- 스타일화된 텍스트 참조: 더 다양한 폰트와 레이아웃 스타일 지원
- 인물 메이크업 효과: 정교한 메이크업 편집 능력 신규 추가
FireRed Image Edit 1.1의 5가지 핵심 기능
기능 1: 신원 일관성 유지 (Identity Consistency)
이번 1.1 버전의 가장 핵심적인 업그레이드입니다. 혁신적인 미분 가능한 일관성 손실 메커니즘(Differentiable Consistency Loss)을 통해, 모델은 인물 사진을 편집할 때 얼굴 특징, 표정, 개인의 고유한 특성을 정확하게 유지합니다.
적용 사례:
- 얼굴은 그대로 유지하면서 사진 배경만 변경
- 다양한 예술적 스타일을 적용해도 인물 정보는 보존
- 인물을 다른 장면에 합성해도 외모 특징이 일치
기존 이미지 편집 모델은 스타일 변환 시 종종 "얼굴 왜곡" 문제가 발생하여 인물이 다른 사람처럼 보이는 경우가 많았습니다. FireRed 1.1은 전체 생성 과정에서 신원 차이를 최소화하여 이 문제를 해결했습니다.
기능 2: 다중 요소 융합 (Multi-Element Fusion)
FireRed 1.1은 10개 이상의 시각적 요소를 자유롭게 조합할 수 있으며, 에이전트 기반의 자동 자르기 및 이어 붙이기 기능을 지원합니다.
| 융합 유형 | 설명 | 대표적인 사례 |
|---|---|---|
| 인물+배경 | 인물을 새로운 장면으로 배치 | 제품 모델 배경 교체 |
| 인물+의상 | 가상 피팅 효과 | 이커머스 의류 전시 |
| 다중 인물 합성 | 여러 사진 속 인물을 하나로 합성 | 창의적인 합성 포스터 |
| 스타일+콘텐츠 | 참조 이미지 스타일을 콘텐츠에 적용 | 예술 스타일 변환 |
| 텍스트+화면 | 텍스트를 자연스럽게 이미지에 녹여냄 | 소셜 미디어 커버 |
기능 3: 정확한 명령어 수행 (Instruction Following)
이 모델은 확률적 명령어 정렬(Stochastic Instruction Alignment) 기술과 동적 프롬프트 재색인 기능을 결합하여, 사용자의 명령어를 매우 정확하게 반영합니다.
테스트 결과, FireRed 1.1은 REDEdit-Bench 벤치마크의 명령어 수행 항목에서 다음과 같은 점수를 기록했습니다:
- 중국어 명령어 점수: 4.33
- 영어 명령어 점수: 4.26
이는 모델이 단순히 "배경을 해변으로 바꿔줘"와 같은 간단한 명령뿐만 아니라, "인물은 유지하면서 배경을 노을이 지는 열대 해변으로 바꾸고, 부드러운 난색 계열의 조명 효과를 추가해줘"와 같은 복잡한 설명도 충분히 처리할 수 있음을 의미합니다.
기능 4: 고충실도 텍스트 편집 (Text Editing)
DiffusionNFT 기술과 레이아웃 인지 OCR 보상 메커니즘을 통해 FireRed 1.1은 이미지 내 텍스트 내용을 정밀하게 보존하고 편집할 수 있습니다. 많은 이미지 편집 모델이 텍스트가 포함된 이미지를 처리할 때 문자가 뭉개지거나 왜곡되는 현상이 발생하는데, 이 기능은 실제 비즈니스 환경에서 매우 중요하게 작용합니다.
기능 5: 옛 사진 복원 및 스타일 변환
FireRed 1.1은 옛 사진 복원 및 스타일 변환 분야에서도 탁월한 성능을 보여줍니다:
- 옛 사진 복원: 긁힘, 색상 퇴색, 흐릿함 등 흔한 옛 사진의 문제점들을 자동으로 복원
- 스타일 변환: 사진을 유화, 수채화, 애니메이션 등 다양한 예술적 스타일로 변환
- 메이크업 편집: 1.1 버전에서 새롭게 추가된 정밀 메이크업 조정 기능
FireRed Image Edit 1.1 벤치마크 결과
3대 벤치마크 전 항목 석권
| 벤치마크 | FireRed 1.1 | Qwen-Image-Edit | 비교 결과 |
|---|---|---|---|
| ImgEdit (종합) | 4.56 | 4.51 | ✅ FireRed 승리 |
| GEdit (종합 G_O) | 7.94 (EN) / 7.89 (CN) | 7.88 | ✅ FireRed 승리 |
| REDEdit (중문) | 4.33 | — | 오픈소스 SOTA |
| REDEdit (영문) | 4.26 | — | 오픈소스 SOTA |
GEdit 세부 지표
| 지표 | 영문 점수 | 중문 점수 | 의미 |
|---|---|---|---|
| G_SC (의미 일관성) | 8.363 | 8.287 | 편집 결과와 지시문의 의미 일치도 |
| G_PQ (인식 품질) | 8.245 | 8.227 | 생성된 이미지의 시각적 품질 |
| G_O (종합 평가) | 7.943 | 7.887 | 다차원 가중치 종합 점수 |
REDEdit-Bench는 FireRed 팀이 자체 개발한 벤치마크로, 15개 카테고리와 1,673개의 중영 이중 언어 편집 쌍을 포함하여 실제 사용자의 편집 니즈를 더욱 정확하게 반영합니다.
🎯 성능 팁: FireRed 1.1은 얼굴 일관성과 지시문 추종 능력에서 강점이 두드러지며, 특히 인물 정보 보존이 필수적인 편집 작업에 매우 효과적입니다. APIYI(apiyi.com)에서 해당 모델 도입을 준비 중이니, 관심 있는 사용자분들은 언제든 문의해주세요.
FireRed Image Edit 1.1 기술 아키텍처
핵심 아키텍처: MM-DiT 듀얼 스트림 멀티모달 확산 Transformer
FireRed 1.1의 핵심 생성 엔진은 듀얼 스트림 멀티모달 확산 Transformer(Double-Stream Multi-Modal Diffusion Transformer, MM-DiT)입니다.
- 텍스트 임베딩: 사용자의 편집 지시문을 텍스트 인코더를 통해 의미 벡터로 변환
- 이미지 Latent 토큰: 원본 이미지를 고충실도 VAE를 통해 잠재 공간 표현으로 인코딩
- 참조 이미지 특징: 참조 이미지(최대 3장)의 시각적 특징 추출
- 통합 입력 스트림: 세 가지 정보를 하나로 연결하여 MM-DiT에 입력, 밀집된 양방향 상호작용 수행
- 생성 출력: 모델이 편집된 이미지의 잠재 표현을 생성하고, VAE를 통해 최종 이미지로 디코딩
학습 파이프라인: Pretrain → SFT → RL
FireRed 1.1은 총 3단계 학습 과정을 거칩니다.
- 사전 학습 (Pretrain): 16억 개의 데이터셋 기반, 그중 1억 개 이상의 고품질 데이터 사용
- 지도 미세 조정 (SFT): 편집 작업에 최적화된 정밀 튜닝
- 강화 학습 (RL): 비대칭 그래디언트 최적화 기반 DPO(Direct Preference Optimization)를 활용하여 편집 품질 향상
핵심 기술 혁신
| 기술 | 역할 | 효과 |
|---|---|---|
| 미분 가능한 일관성 손실 | 신원 보존 | 인물 편집 시 얼굴 왜곡 방지 |
| 랜덤 지시문 정렬 | 지시문 이해 | 복잡한 묘사도 정확하게 실행 |
| 멀티 컨디션 인식 버킷 샘플링 | 학습 효율 | 가변 해상도 배치 처리 지원 |
| DiffusionNFT | 텍스트 편집 | 이미지 내 텍스트 선명도 유지 |
| 비대칭 그래디언트 DPO | 품질 최적화 | 인간의 선호도와 정렬 |
💡 개발자 관점: FireRed 1.1의 편집 기능은 모든 T2I 기반 모델에 이식 가능합니다. 즉, 단순히 하나의 편집 모델을 넘어 재사용 가능한 강력한 '편집 프레임워크'로서의 가치를 지닙니다.
FireRed Image Edit 1.1 API 연동 가이드
현재 이용 가능한 API 플랫폼
FireRed Image Edit 1.1은 현재 여러 서드파티 플랫폼을 통해 API 서비스를 제공하고 있습니다.
| 플랫폼 | 예상 가격 | 특징 |
|---|---|---|
| Replicate | ~$0.036/회 | 호출당 과금, 간편한 사용성 |
| fal.ai | 사용량 기반 과금 | Serverless 배포, 빠른 응답 속도 |
| WaveSpeedAI | 사용량 기반 과금 | AI 이미지 모델 가속화에 최적화 |
| HuggingFace Spaces | 무료 체험 | 코드 없이 웹에서 데모 확인 가능 |
로컬 배포 요구 사항
FireRed 1.1을 로컬 환경에 직접 배포하려면 다음 사양이 필요합니다:
- 비디오 메모리(VRAM): 30GB 이상 (A100 또는 H100 권장)
- 추론 속도: 약 4.5초/장
- 오픈소스 라이선스: Apache 2.0, 상업적 이용 가능
- 모델 출처: HuggingFace
FireRedTeam/FireRed-Image-Edit-1.1
APIYI 플랫폼 연동 안내
FireRed Image Edit 1.1은 아직 APIYI 플랫폼에 정식 출시되지 않았으나, 현재 기술 검토 및 연동 준비 단계에 있습니다.
🔔 연동 예고: APIYI(apiyi.com)에서 FireRed Image Edit 1.1 모델 도입을 검토 중입니다. 이미지 편집 API가 필요하시다면 APIYI 팀에 연락하여 연동 진행 상황을 확인하고 테스트를 예약하세요. 플랫폼 출시 후에는 별도의 배포 과정 없이 통합 API 인터페이스를 통해 바로 호출할 수 있습니다.
FireRed Image Edit 1.1 활용 사례
이커머스 및 콘텐츠 제작
- 제품 이미지 편집: 제품 배경 변경, 조명 및 그림자 조정, 배경 합성
- 모델 의상 교체: 가상 피팅 효과를 통한 촬영 비용 절감
- 소셜 미디어 커버: 스타일이 통일된 커버 이미지 빠른 생성
- 사진 복원: 오래된 사진 복원 및 이미지 품질 향상
디자인 및 크리에이티브
- 스타일 변환: 사진을 다양한 예술적 스타일로 변환
- 크리에이티브 합성: 여러 요소를 조합하여 창의적인 포스터 제작
- 브랜드 자산: 브랜드의 시각적 스타일을 통일한 대량 이미지 처리
다른 이미지 모델과의 차이점 비교
| 모델 | 포지셔닝 | 핵심 강점 | 적용 분야 |
|---|---|---|---|
| FireRed Image Edit 1.1 | 이미지 편집 | 얼굴 일관성, 지시 사항 준수 | 기존 이미지의 정밀 수정 |
| Gemini Imagen 4 | 텍스트-이미지 변환 | 고품질 생성 | 처음부터 새로운 이미지 생성 |
| DALL-E 3 | 텍스트-이미지 변환 | 텍스트 렌더링 | 창의적인 이미지 생성 |
| Stable Diffusion 3 | 텍스트-이미지 변환+편집 | 오픈소스 생태계 | 유연한 커스터마이징 |
FireRed 1.1의 핵심 차별점은 단순한 새로운 이미지 생성이 아닌, 기존 이미지를 정밀하게 편집하는 데 최적화되어 있다는 점입니다. 이는 실제 자산을 바탕으로 2차 가공이 필요한 이커머스나 콘텐츠 제작 분야에서 독보적인 강점을 제공합니다.
🚀 활용 팁: 기존 이미지를 바탕으로 배경 교체, 스타일 변환, 요소 추가 등 '정밀한 수정'이 필요하다면 현재로서 FireRed가 가장 훌륭한 오픈소스 선택지입니다. 만약 텍스트-이미지 변환 능력이 필요하시다면 APIYI(apiyi.com) 플랫폼에서 Gemini Imagen, DALL-E 등의 모델을 상황에 맞춰 조합하여 사용해 보세요.
자주 묻는 질문(FAQ)
Q1: FireRed Image Edit 1.1은 무료로 상업적 이용이 가능한가요?
네, 가능합니다. FireRed Image Edit 1.1은 Apache 2.0 오픈소스 라이선스를 따르며, 상업적 용도를 포함하여 자유로운 사용, 수정 및 배포가 허용됩니다. HuggingFace에서 모델 가중치를 다운로드하여 로컬에 배포하거나, 써드파티 API 플랫폼을 통해 사용량에 따라 비용을 지불하고 사용할 수 있습니다.
Q2: FireRed 1.1과 1.0의 차이점은 무엇이며, 어떤 것을 사용해야 하나요?
1.1 버전을 사용하는 것을 권장합니다. 1.1은 1.0을 기반으로 인물 정체성 일관성, 다중 요소 융합, 스타일화된 텍스트 및 메이크업 효과를 중점적으로 개선했습니다. 모든 측면에서 업그레이드되었으며 성능 저하가 없습니다. 1.1 버전은 GEdit 종합 점수에서 7.94점을 기록하여 1.0 버전의 기준점보다 높은 성능을 보여줍니다.
Q3: 로컬 배포를 위해 어떤 하드웨어가 필요한가요?
FireRed 1.1은 최소 30GB의 VRAM이 필요하며, NVIDIA A100(40/80GB) 또는 H100 그래픽카드를 권장합니다. GPU 자원이 충분하지 않다면 API 방식을 통해 사용하는 것을 추천하며, Replicate 기준 1회 호출당 약 $0.036입니다. 추후 APIYI apiyi.com 플랫폼에 서비스가 시작되면 API를 통해 직접 호출할 수도 있습니다.
Q4: APIYI는 언제 FireRed Image Edit을 지원하나요?
FireRed Image Edit 1.1은 현재 APIYI 플랫폼에서 기술 평가 단계에 있습니다. 이미지 편집 API에 대한 명확한 요구 사항이 있으시다면 언제든지 APIYI apiyi.com 팀에 문의해 주세요. 고객님의 피드백이 평가 및 도입 속도를 높이는 데 큰 도움이 됩니다.
요약
FireRed Image Edit 1.1의 핵심 포인트는 다음과 같습니다:
- 오픈소스 SOTA: GEdit 종합 점수 7.94점, ImgEdit 4.56점으로 Qwen-Image-Edit-2511을 전반적으로 상회합니다.
- 압도적인 정체성 일관성: 미분 가능한 일관성 손실 메커니즘을 통해 인물 편집 시 '얼굴이 바뀌는' 현상을 방지합니다.
- 중국어 네이티브 지원: 샤오홍슈(小红书) 팀이 제작하여 중국어와 영어 명령어 모두에서 뛰어난 성능을 보입니다.
- 완전 오픈소스 및 상업적 이용 가능: Apache 2.0 라이선스로 HuggingFace에서 바로 다운로드할 수 있습니다.
- 효율적인 추론: 30GB VRAM으로 배포가 가능하며, 이미지당 4.5초의 생성 속도를 제공합니다.
정교한 이미지 편집 기능이 필요한 개발자와 기업에게 FireRed 1.1은 현재 오픈소스 영역에서 최고의 선택지입니다.
APIYI apiyi.com은 FireRed Image Edit 1.1 도입을 적극적으로 검토하고 있습니다. 관련 수요가 있는 사용자분들은 미리 연락 주시기 바랍니다. 현재 APIYI 플랫폼은 Gemini, Claude, GPT 등 다양한 모델의 통합 호출을 지원하고 있으며, 이미지 편집 모델의 추가를 통해 멀티모달 API 생태계를 더욱 강화할 예정입니다.
📚 참고 자료
-
FireRed-Image-Edit GitHub 저장소: 공식 오픈 소스 코드 및 문서
- 링크:
github.com/FireRedTeam/FireRed-Image-Edit - 설명: 전체 소스 코드, 모델 가중치 다운로드 링크 및 사용 예시 포함
- 링크:
-
FireRed-Image-Edit 1.1 HuggingFace: 모델 가중치 다운로드
- 링크:
huggingface.co/FireRedTeam/FireRed-Image-Edit-1.1 - 설명: 로컬 환경에 직접 배포하기 위한 모델 가중치 다운로드 제공
- 링크:
-
FireRed-Image-Edit 1.0 기술 보고서: 학술 논문
- 링크:
arxiv.org/abs/2602.13344 - 설명: 상세한 아키텍처 설계 및 학습 방법론 설명
- 링크:
-
REDEdit-Bench 벤치마크: 평가 방법론
- 링크:
github.com/FireRedTeam/FireRed-Image-Edit - 설명: 15개 카테고리, 1,673개의 이중 언어 편집 쌍으로 구성된 평가 기준
- 링크:
작성자: APIYI 기술 팀
기술 교류: AI 이미지 편집 사용 경험을 댓글로 자유롭게 공유해 주세요. 더 많은 AI 모델 관련 정보는 APIYI docs.apiyi.com 문서 센터에서 확인하실 수 있습니다.
