[Python] Tibero, MSSQL ODBC 직접 쿼리 설정

데이터 베이스를 직접 설계하고 샤딩기술을 미리 알았다면 좀더 분산처리에 가까웠을텐데.... 중간 사업 들어간건 설계랑 사람이 원만하지 않으면 가지말자... 

 

1. 배경

환경적인 이슈 문제

• 패쇠망 환경에서 서로다른 데이터 배이스가 통신을 해야하는데 sqlAlchemy 가 Tibero를 지원하지 않아 생긴 문제

지원적인 이슈 문제

• 화물 정보에 물품을 수령하는 개인정보(민감정보) 가 포함되어 있기 때문에 USB 및 이외의 것 사용 불가

 

2. 해결

직접 odbc 쿼리문을 작성하여 mysql의 데이터를 스케줄링처리를 통해 tibero에 저장 및 관리하는 프로그램 개발

 

하루 일 평균 데이터 소비량

영상 메타 정보 : 하루 평균 약 10만건

 

AI 처리 정보 : 모델(3개의 모델)별 종합 처리 량 약 33만건(인식율 50~100%) 사이 값

• 1번째 모델이 AI 오인식에 따른 수집데이터 처리 문제로 인해 AI 식별율을 높이기로 결정
• 식별율 및 인식율에 따른 결과를 현장에서 비교햐여 모델 뼈대 기준으로 학습방향을 정하기로 함

 

3. Git

주소 : https://github.com/MizzleAa/Python-ODBC

GitHub - MizzleAa/Python-ODBC