[Android Kotlin] 간단한 글자인식(OCR) 앱 만들기 with Tesseract

요즘 진행 중인 토이 프로젝트에서 꽤 괜찮은 아이디어가 떠올랐다. 

프로젝트의 주제는 켜자마자 메모장을 띄우는 앱인데 사용자가 외우고 싶거나 까먹으면 안 되는 단어들을 원하는 양식으로 적어두고, 스마트폰을 켤 때마다 그 화면이 보이는 앱이다. 사실 이전에 프로토타입 수준으로 진행해본 경험이 있었지만, 플레이스토어 런칭을 목적으로 완전 리팩토링하여 만들기로 결정한 것이다. 그리고 덤으로 코틀린도 배워볼 겸 100% 코틀린을 사용하였다.

그리고 사용자가 원하는 단어나 문장을 스마트폰 카메라로 캡쳐하여 자동으로 인식하게 만든 후 번역 기능까지 추가하면 꽤 끝내주는 아이템이 될 것 같아서 우선 글자 인식 API인 Tesseract에 대해 알아보았다.

 

Tesseract는 휴렛 팩커드 연구소에서 1984년~1994년 사이 독점 소프트웨어로 개발되었으며, 1996년부터 윈도우로도 마이그레이션이 되고 대부분 코드가 C로 작성되었다. 이후 10년 동안은 작업이 거의 이뤄지지 않다가 2005년 네바다 대학교에서 오픈소스로 출시한 후 2006년부터 구글에서 후원을 하며 점차 발전해 나가고 있는 엔진이라고 한다.

기본적으로 목적은 글자를 인식하여 데이터로 저장하는 것인데, 기존의 다양한 글자 이미지 샘플들과 비교하여 입력된 이미지의 유사도에 따라 글자를 판별해주는 방식이다. 오픈소스이기 때문에 상당히 쉽게 이용할 수 있고 언어 데이터도 다양한다. 단, 영어에서의 인식률은 상당히 좋은 편이나 한글이나 다른 문자들의 인식률은 조금 저조한 편이라고 한다.

용량 자체만 보더라도 한글의 단어 데이터가 영어의 반밖에 되지도 않고 한글의 경우 자음 모음 받침 등을 조합하면 영어 알파벳 수의 몇 배가 되는 글자가 만들어지는데 그에 반해 데이터가 부족하면 인식률이 훨씬 저조해질 수밖에 없다. 물론 원활한 사용을 위해 한글 데이터를 많이 학습시킬 필요가 있겠지만, 나중에 Tesseract에 대해 더 알아보고 내가 직접 학습시키거나 꼼수를 써볼 예정이다.

 

---

작업

가장 먼저 Tesseract 를 안드로이드에서 사용하기 위해 dependencies를 implement 해줘야 한다.

가장 최신버전이 올라와 있으니 굳이 아래의 버전을 사용하지 않아도 된다.

 

최신 버전 확인 : github.com/rmtheis/tess-two/releases

 

 

 

그리고 언어 파일을 다운로드한다.

 

필자의 경우 영어와 한글을 받아둔 상태이다.

 

 

언어 데이터 : github.com/tesseract-ocr/tessdata

 

다운로드한 언어 데이터는 assets폴더를 만든 후 그 안에다 tessdata 폴더를 또 만들어야 한다. 거기다 넣으면 된다.

 

 

이제 인식시킬 글자가 적힌 이미지 파일을 만들자

 

인식률이 상당히 낮은 것을 감안해 카메라로 찍은 사진은 사용하지 않고 PC 내 스크린샷을 활용해서 사진 파일을 만들었다.

 

이제 이 글자를 캡처해서 drawable 폴더에 넣어두도록 하자.

 

메모장 txt 파일을 저장하는 게 아니라 이 글자를 찍은 스크린샷을 저장하는 거다!!

 

 

이제 화면 인식한 글자를 띄울 레이아웃 파일부터 만들자

 

activity_main.xml

<?xml version="1.0" encoding="utf-8"?>
<androidx.constraintlayout.widget.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context=".MainActivity">

    <TextView
        android:id="@+id/activitymain_tv_result"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:text="Hello World!"
        app:layout_constraintLeft_toLeftOf="parent"
        app:layout_constraintTop_toTopOf="parent" />

</androidx.constraintlayout.widget.ConstraintLayout>

 

 

그리고 바로 코딩을 진행하겠다

 

작업은 모두 MainActivity클래스 안에서 진행했다.

 

MainActivity.kt

...
class MainActivity : AppCompatActivity() {
    lateinit var tess : TessBaseAPI //Tesseract API 객체 생성
    var dataPath : String = "" //데이터 경로 변수 선언
    
    ...

 

전역 변수는 2가지를 선언했다.

 

 

MainActivity.kt

    ...
    
    fun copyFile(lang : String){
        try{
            //언어데이타파일의 위치
            var filePath : String = dataPath+"/tessdata/"+lang+".traineddata"

            //AssetManager를 사용하기 위한 객체 생성
            var assetManager : AssetManager = getAssets();

            //byte 스트림을 읽기 쓰기용으로 열기
            var inputStream : InputStream = assetManager.open("tessdata/"+lang+".traineddata")
            var outStream : OutputStream = FileOutputStream(filePath)


            //위에 적어둔 파일 경로쪽으로 해당 바이트코드 파일을 복사한다.
            var buffer : ByteArray = ByteArray(1024)

            var read : Int = 0
            read = inputStream.read(buffer)
            while(read!=-1){
                outStream.write(buffer,0,read)
                read = inputStream.read(buffer)
            }
            outStream.flush()
            outStream.close()
            inputStream.close()

        }catch(e : FileNotFoundException){
            Log.v("오류발생",e.toString())
        }catch (e : IOException)
        {
            Log.v("오류발생",e.toString())
        }
    }
    
    ...

그다음 copyFile 메서드를 추가하고 Assets폴더에 있는 여기서는 언어데이터를 사용하기 위해 내부저장소로 이동을 시키는 모습이다.  단순히 언어데이터를 복사한다고 생각하면 된다.

 

 

 

MainActivity.kt

 ...
 fun checkFile(dir : File, lang : String){

        //파일의 존재여부 확인 후 내부로 복사
        if(!dir.exists()&&dir.mkdirs()){
            copyFile(lang)
        }

        if(dir.exists()){
            var datafilePath : String = dataPath+"/tessdata/"+lang+".traineddata"
            var dataFile : File = File(datafilePath)
            if(!dataFile.exists()){
                copyFile(lang)
            }
        }

    }
 ...

위에서 언어 데이터를 복사해주는 메소드를 만든 이유는 언어데이터가 내부저장소에 존재여부를 확인한 후 없으면 언어데이터를 내부저장소로 복사를 해주기 위한 용도였다. 따라서 checkFile 메서드에서는 이렇게 설계를 해둔다.

 

 

 

MainActivity.kt

...

fun processImage(bitmap : Bitmap){
        Toast.makeText(applicationContext,"잠시 기다려 주세요",Toast.LENGTH_SHORT).show()
        var ocrResult : String? = null;
        tess.setImage(bitmap)
        ocrResult = tess.utF8Text
        activitymain_tv_result.text = ocrResult
    }
    
...

 

test이미지 파일을 분석해서 텍스트뷰에 띄울 메서드를 만들어 뒀다.

 

 

 

MainActivity.kt

   ...
   
   override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_main)

        dataPath = filesDir.toString()+ "/tesseract/" //언어데이터의 경로 미리 지정

        checkFile(File(dataPath+"tessdata/"),"kor") //사용할 언어파일의 이름 지정
        checkFile(File(dataPath+"tessdata/"),"eng") 

        var lang : String = "kor+eng" 
        tess = TessBaseAPI() //api준비
        tess.init(dataPath,lang) //해당 사용할 언어데이터로 초기화

        processImage(BitmapFactory.decodeResource(resources,R.drawable.test)) //이미지 가공후 텍스트뷰에 띄우기
        
    }
    
    ...

 

 

 

이제 테스트를 해볼까나

 

 

이 사진을

 

 

이렇게 인식했다.

 

 

 

한글의 인식률이 좋지 않다는 것은 한눈에 알 수 있다.

 

날을 낱이라고 인식하다니.. (역시 한국어는 기계도 어려운가보다)

 

하지만 이는 언어 데이터의 학습을 통해 어느 정도 개선이 가능할 것으로 보인다.

 

분명 한글도 데이터의 학습이 꾸준하게 이뤄진다면 더 좋은 이미지 인식이 가능할 것으로 보인다.

 

 

나중에는 카메라로 캡처한 이미지를 글자로 인식하수 있도록 만들어볼 예정이다. 글자의 색깔이나 약간의 노이즈만으로도 Tesseract의 판별성능이 많이 떨어진다고 하는데 이는 카메라 캡쳐 이후 사진을 '후가공' 하면 어느 정도 개선되지 않을까 싶다. 나아가 사람이 쓴 손글씨도 인식이 가능하게 하고 싶은데 커스텀 Tessdata 같은 것을 만들어서 사용할 수 있지 않을까?라는 작은 희망을 품으며 포스팅을 마무리하겠다.