About Project

YAI X Lomin Corporate Project

Team Member : 강수빈, 김주연, 변지혁, 이민재, 이상민

Link : *Github_link PPT_link*

Intro

• 기존한계
  • 기존 OCR E2E model은 detection 과 recognition model을 단순 결합하는 방식
  • 이에 training과정에서 model끼리 서로 영향을 주지 못함
• 목표
  • detection model과 recognition model이 서로 영향을 줄 수 있는 모델 설계
  • 영어에 비해 구조가 복잡한 한국어에도 잘 작동할 수 있는 모델 설계
• 아이디어
  • 하나의 backbone에서 뽑은 feature map을 detection , recognition model이 공유
  • 4가지 loss사용
    • cls_loss
    • bbox_loss
    • giou_loss
    • recog_loss

Model Architecture

1. Overview

1. Model Pipeline

• Shared Convolution (FOTS)
  • Backbone: Resnet-50
  • Output: Feature map
• Transformer based Detection (DETR)
  • Role: 이미지 내 텍스트 위치 파악
  • Output: 이미지 내 Text 존재 유무, Bounding Box 좌표
• RoI Rotate (FOTS)
  • Role: Bounding box 좌표대로 텍스트 원본 이미지에서 자르기
  • Role: 이미지 조정 (기울어지거나 보는 관점에서 달라지는 경우)
• Transformer based Recognition (ViTSTR)
  • Role: 이미지 내 텍스트
  • Output: Text