init

.gitignore

@@ -0,0 +1,2 @@
+img.png
+example-request.py

.gitlab-ci.yml

@@ -0,0 +1,59 @@
+image: ubuntu
+
+stages:
+  - deploy
+
+variables:
+  GIT_DEPTH: 10
+  SERVICE_DIR: card-tagger-kc
+  REMOTE_ADDRESS: 74.82.28.76
+  REMOTE_USER: gitlab-runner
+  CONTAINER_NAME: ft-api
+
+before_script:
+  ##
+  ## Install ssh-agent if not already installed, it is required by Docker.
+  ## (change apt-get to yum if you use an RPM-based image)
+  ##
+  - 'command -v ssh-agent >/dev/null || ( apt-get update -y && apt-get install openssh-client -y )'
+
+  ##
+  ## Run ssh-agent (inside the build environment)
+  ##
+  - eval $(ssh-agent -s)
+
+  ##
+  ## Add the SSH key stored in SSH_PRIVATE_KEY variable to the agent store
+  ## We're using tr to fix line endings which makes ed25519 keys work
+  ## without extra base64 encoding.
+  ## https://gitlab.com/gitlab-examples/ssh-private-key/issues/1#note_48526556
+  ##
+  - echo "$SSH_PRIVATE_KEY" | tr -d '\r' | ssh-add -
+
+  ##
+  ## Create the SSH directory and give it the right permissions
+  ##
+  - mkdir -p ~/.ssh
+  - chmod 700 ~/.ssh
+
+  ##
+  ## Use ssh-keyscan to scan the keys of your private server. Replace gitlab.com
+  ## with your own domain name. You can copy and repeat that command if you have
+  ## more than one server to connect to.
+  ##
+  - ssh-keyscan $REMOTE_ADDRESS >> ~/.ssh/known_hosts
+  - chmod 644 ~/.ssh/known_hosts
+
+  ##
+  ## install rsync
+  ##
+  - apt-get update -y && apt-get install rsync -y
+
+deploy:
+  stage: deploy
+  script:
+    - rsync -v --stats -a --exclude .git --exclude __pycache__ --delete . $REMOTE_USER@$REMOTE_ADDRESS:service/$SERVICE_DIR/
+    - ssh -t $REMOTE_USER@$REMOTE_ADDRESS "cd service/ && docker-compose build $CONTAINER_NAME"
+    - ssh -t $REMOTE_USER@$REMOTE_ADDRESS "cd service/ && docker-compose up --no-deps -d $CONTAINER_NAME"
+  only:
+    - master

.idea/.gitignore

@@ -0,0 +1,8 @@
+# Default ignored files
+/shelf/
+/workspace.xml
+# Editor-based HTTP Client requests
+/httpRequests/
+# Datasource local storage ignored files
+/dataSources/
+/dataSources.local.xml

.idea/HF_CardTagger.iml

@@ -0,0 +1,14 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<module type="PYTHON_MODULE" version="4">
+  <component name="NewModuleRootManager">
+    <content url="file://$MODULE_DIR$">
+      <excludeFolder url="file://$MODULE_DIR$/venv" />
+    </content>
+    <orderEntry type="inheritedJdk" />
+    <orderEntry type="sourceFolder" forTests="false" />
+  </component>
+  <component name="PyDocumentationSettings">
+    <option name="format" value="PLAIN" />
+    <option name="myDocStringFormat" value="Plain" />
+  </component>
+</module>

.idea/inspectionProfiles/Project_Default.xml

@@ -0,0 +1,16 @@
+<component name="InspectionProjectProfileManager">
+  <profile version="1.0">
+    <option name="myName" value="Project Default" />
+    <inspection_tool class="Eslint" enabled="true" level="WARNING" enabled_by_default="true" />
+    <inspection_tool class="PyCompatibilityInspection" enabled="true" level="WARNING" enabled_by_default="true">
+      <option name="ourVersions">
+        <value>
+          <list size="2">
+            <item index="0" class="java.lang.String" itemvalue="2.7" />
+            <item index="1" class="java.lang.String" itemvalue="3.11" />
+          </list>
+        </value>
+      </option>
+    </inspection_tool>
+  </profile>
+</component>

.idea/inspectionProfiles/profiles_settings.xml

@@ -0,0 +1,6 @@
+<component name="InspectionProjectProfileManager">
+  <settings>
+    <option name="USE_PROJECT_PROFILE" value="false" />
+    <version value="1.0" />
+  </settings>
+</component>

.idea/misc.xml

@@ -0,0 +1,4 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<project version="4">
+  <component name="ProjectRootManager" version="2" project-jdk-name="Python 3.9 (HF_CardTagger)" project-jdk-type="Python SDK" />
+</project>

.idea/modules.xml

@@ -0,0 +1,8 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<project version="4">
+  <component name="ProjectModuleManager">
+    <modules>
+      <module fileurl="file://$PROJECT_DIR$/.idea/HF_CardTagger.iml" filepath="$PROJECT_DIR$/.idea/HF_CardTagger.iml" />
+    </modules>
+  </component>
+</project>

.idea/vcs.xml

@@ -0,0 +1,6 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<project version="4">
+  <component name="VcsDirectoryMappings">
+    <mapping directory="$PROJECT_DIR$" vcs="Git" />
+  </component>
+</project>

Dockerfile

@@ -0,0 +1,21 @@
+#FROM nvidia/cuda:11.0.3-base-ubuntu18.04
+#FROM python:3.7.2-stretch
+FROM fastdotai/fastai:latest
+
+
+
+RUN apt-get update -y && \
+    apt-get install -y python3-pip python-dev
+
+#RUN mkdir /app
+
+WORKDIR /code
+
+COPY ./requirements.txt /code/requirements.txt
+
+RUN pip install --no-cache-dir --upgrade -r /code/requirements.txt
+
+
+COPY . .
+
+CMD ["uvicorn", "server:app", "--reload", "--host", "0.0.0.0", "--port", "7860"]

cardtagger.py

@@ -0,0 +1,120 @@
+from fastai.vision.all import load_learner, PILImage
+import torch
+import csv
+import hashlib
+import json
+from pathlib import Path
+import os
+
+
+def get_preds(obj, learn, model_name='tags', thresh=15):
+
+    labels = []
+
+    '''
+    get list of classes from Learner object
+    '''
+    for item in learn.dls.vocab:
+        labels.append(item)
+
+    '''
+    open mapping from csv into dictionary and get only the onces with mapping
+    '''
+    if model_name == 'life-event':
+        input_file = "./model/cardtagger/mapping-life-event.csv"
+
+    else:
+        input_file = "./model/cardtagger/mapping.csv"
+
+    data = csv.DictReader(open(input_file))
+
+    dic = dict()
+
+    for row in data:
+        if row['tag'] != row['alternatives']:
+            dic[row['tag']] = row['alternatives'].split(',')
+
+    '''
+    combine the classnames with the result and get those with > threshold back 
+    add the synonym mapping list to the dictionary
+    '''
+    predictions = []
+    x = 0
+    for item in obj:
+        acc = round(item.item()*100, 1)
+
+        if acc > thresh:
+
+            synonyms = []
+
+            for i in dic:
+                if labels[x] == i:
+                    synonyms = dic[i]
+
+            predictions.append({"label": labels[x], "probability" : acc, "synonyms" : synonyms })
+            #predictions[labels[x]] = acc
+        x += 1
+
+    predictions = {"predictions": predictions}
+
+
+    return predictions
+
+
+def cardtagger(image):
+
+    img = PILImage(PILImage.create(image).resize((128,128)))
+
+    '''
+    get classification of images that already where send to api or predict on new
+    '''
+    base = Path("./tmp/")
+
+    md5hash = hashlib.md5(img.tobytes()).hexdigest()
+
+    file = os.path.join(base, md5hash)
+
+    if os.path.exists(file):
+        result = json.load(open(base / (md5hash)))
+
+    else:
+
+        '''
+        get classification of tags
+        '''
+
+        tag_model = load_learner('./model/cardtagger/tags.pkl')
+
+        tag_prediction, _, tag_probs = tag_model.predict(img)
+
+        result_tags = get_preds(tag_probs, tag_model, 'tags')
+
+        '''
+        get classification of life event
+        '''
+
+        life_event_model = load_learner('./model/cardtagger/life-event-2.pkl')
+
+        life_event_prediction, _, life_event_probs = life_event_model.predict(img)
+
+        result_life = get_preds(life_event_probs, life_event_model, 'life-event', 30)
+
+
+        '''
+        comebine tag predictions ...
+        '''
+        result =  {"predictions": result_tags['predictions']+result_life['predictions']}
+
+        '''
+        write the json to a temp file and return the results
+        '''
+
+
+        out_file = open(file, "w+")
+
+        json.dump(result, out_file)
+
+
+    return result
+
+#cardtagger('test.jpg')

model/cardtagger/life-event-2.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:27cf390c5bbb7031ee2fd3bb8829995ff4b159288f150400a0f3f49d9f5990cb
+size 242471959

model/cardtagger/mapping-life-event.csv

@@ -0,0 +1,10 @@
+tag,alternatives
+geboortekaartje,"geboortekaartje,geboorte,geboortekaartjes"
+jubileumkaart,"huwelijksjubileum,jubileum,jubileum-huwelijk,jubileumkaarten,felicitatie-huwelijksjubileum"
+kerstkaart,kerstkaarten
+save-the-date-kaart,"save-the-date-kaart,save-the-date,save-the-date-kaarten,save-the-date-kaart-trouwen"
+trouwkaart,"trouwkaart,soort-trouwkaarten,trouwkaarten,huwelijksuitnodiging,trouwkaarten-set,wij-gaan-trouwen,gaan-trouwen,trouwen"
+uitnodigingskaart,"uitnodigingen,uitnodiging,uitnodigingfeestpagina"
+verhuiskaart,"verhuiskaarten,nieuw-home,verhuisbericht,verhuizing,verhuizen,verhuizing-housewarming"
+verjaardagskaart,verjaardag
+wenskaart,"verjaardag-wenskaart,geboorte-wenskaart,huwelijk-wenskaart,pensioen-wenskaart,bedank-wenskaart"

model/cardtagger/mapping.csv

@@ -0,0 +1,221 @@
+tag,alternatives
+12.5,cat-jubileum-kaarten-12-5-jaar
+2022,2022
+21-diner,21diner
+25,"cat-uitnodiging-kaart-25-jaar,25-jaar-getrouwd,vijfentwintig,25-jaar"
+30,"verjaardag-30-jaar,cat-uitnodiging-kaart-30-jaar,dertig,30-jaar"
+40,"cat-jubileum-kaarten-40-jaar,verjaardag-40-jaar,veertig,40-jaar"
+40-jaar-getrouwd,40-jaar-getrouwd
+50,"cat-uitnodiging-kaart-50-jaar,verjaardag-50,vijftig,50-jaar"
+50-jaar-getrouwd,50-jaar-getrouwd
+60,"verjaardag-60,cat-uitnodiging-kaart-60-jaar,zestig,60-jaar"
+65,"verjaardag-65,cat-uitnodiging-kaart-65-jaar,vijfenzestig,65-jaar"
+70,"cat-uitnodiging-kaart-70-jaar,70-jaar,zeventig"
+80,cat-uitnodiging-kaart-80-jaar
+aap,aap
+abraham,abraham
+adventure,adventure
+aquarel,aquarel-achtergrond
+auto,auto
+avontuurlijk,avontuurlijk
+baby,baby
+babykaartje,babykaartje
+ballon,"ballonnen,thema-ballonnen,luchtballon"
+basic,basic
+bedankkaart,bedankkaart
+bedankkaart-rouw,bedankkaart-rouw
+beer,wasbeer
+beige,beige
+blaadjes,blaadjes-takjes
+blanco,"zelf-aanpassen,zelf-maken,zelfmaken,zelf-ontwerpen-blanco-kaart,zelf-maken-kaarten,zelf-ontwerpen,zelf-ontwerpen-blanco-poster"
+blauw,"grijs-blauw,petrol-blauw"
+bloem,bloem
+bloemen,"bloemetjes,bloem-en-bloemen,bloemenpatroon,bloemen-illsutratie,droogbloemen,rozen,bloemen-achtergrond,bloemen-foto,bloemen-lijntekening"
+boerderij,boerderij
+bohemian,"bohemian-classic,bohemian-flowers"
+boom,boom
+borden,borden
+bosdieren,bosdieren
+botanisch,"botanical,botanisch-blad,botanische-print,basic-botanisch,casual-botanic,classic-botanic"
+broer,grote-broer
+broertje,broertje
+brons,brons
+bruiloft,bruiloft
+bruin,"taupe,bruin-taupe"
+champagne,champagne
+chique,"chic,chique-en-clean,modern-chique"
+christelijk,christelijk
+clean,clean
+communie,"communie-bedankkaart,communiekaarten,communiekaartjes,communie-bedank,communiekaartjes-bedankt,menukaart-communie"
+confetti,confetti-feest
+derde-kindje,derde-kindje
+dieren,"dier,dieren-thema,gezin-dieren,dieren-achtergrond,dierenprint,boerderijdieren,kerst-dieren,wilde-dieren,wilde-dieren-collectie"
+dochter,dochter
+donkerblauw,donkerblauw
+echt-hout,"op-echt-hout,kaart-van-echt-hout,houten-kaarten"
+eenvoud,eenvoud
+effen-achtergrond,effen-achtergrond
+elk-seizoen,elk-seizoen
+exclusief,exclusief
+exclusieve-trouwkaarten,exclusieve-trouwkaarten
+feestdagen,feestdagen
+feestelijk,feestelijk
+feestje,feestje
+fiets,fiets
+flamingo,flamingo
+floral,"floral-and-blue,rustic-floral,floral-season"
+foliedruk,"folieprint,folie-druk,geboortekaart-folie,trouwkaart-folie,dubbelzijdig-folie,enkelzijdig-folie,kerstkaart-folie,uitnodiging-folie,dubbelzijdig-foliedruk,enkelzijdig-foliedruk,folie-geboorte,foliedruk-geboorte,metfolie,folie"
+geel,geel
+geometrisch,"geometrische-vlakken,geometrische-lijnen,geometrisch-patroon"
+getekend,gezin-getekend
+giraf,giraffe
+glitter,glitter-glamour
+goedkoop,goedkoop
+goud,goud-thema
+goudfolie,goudfolie
+grappig,grappig
+grijs,grijs
+groen,"leger-groen,grijs-groen,petrol-groen,olijf-groen"
+handlettering,handlettering
+hart,hart
+hartje,echt-houten-hartje
+hartjes,"hartjes-achtergrond,hartjeslabel"
+herfst,herfstkaart
+herfst-winter,herfst-winter
+hertje,hertje
+hip,"hippe,hip-trendy,hippe-trouwkaarten"
+hout,"hout-steigerhout,patroon-hout,thema-hout,houten,houten-kaartje,houtpatroon,houten-achtergrond"
+houten-hartje,houten-hartje
+huwelijksuitnodiging,huwelijksuitnodiging
+icoontjes,icoontjes
+illustratief,illustraties
+inprintkaart,inprintkaart
+instagram,instagram
+jaartal,jaartal
+jongen,stoere-jongen
+jungle,"trendy-jungle,jungle-collectie"
+jungledieren,jungle-dieren
+karton,karton-look
+kerst,"kerstkaarten-2015,kerstkaarten-2016,zakelijke-kerstkaarten,kerstkaart-zakelijk,kerst-verhuiskaart,kerst-zonder-foto,kerstster,kersttak,foto-kerst,kerst-ster,corona-kerstkaart"
+kerst-save-the-date,save-the-date-kerstkaart
+kerstboom,kerstboom
+kinderfeestje,kinderfeest
+kinderwagen,kinderwagen
+klassiek,classic
+klassieke-trouwkaarten,klassieke-trouwkaarten
+kleurrijk,kleur
+konijn,konijn
+koper,"koperkleur,clean-koper"
+koperfolie,koperfolie
+kraft,"kraft-karton,kraft-kraftlook,karton-kraft-achtergrond,kraftpapier-karton,kraftlook,echt-kraft,kraftpapier,echt-kraft-papier,gedrukt-op-echt-kraft,kraft-algemeen"
+krans,kerstkrans
+krijtbord,krijtbord-achtergrond
+label,"labels,met-labeltje,echt-label,labelkaart,labeltje"
+langwerpig,langwerpig
+leeuw,leeuw
+lente,"lentekaart,lentefeest,lentefeest-uitnodiging"
+lente-zomer,lente-zomer
+lief,lief
+lijntekening,lijntekening
+logo,"met-eigen-logo,logo-initialen"
+luxe,luxe
+maan,houten-maantje
+man,man
+man-vrouw,man-en-vrouw
+meisje,lief-meisje
+menukaart,vormsel-menukaarten
+met-foto,"foto,metfoto,1-foto,3-foto,foto-geboorte,foto-algemeen,fotokaart,2-foto,foto-trouwen,kerst-met-foto,foto-jubileum,4-foto,kerstkaart-fotolijst,trouwkaart-met-foto,gezin-foto,foto-voorkant"
+minimalistisch,minimalistisch
+mint,mint
+mintgroen,mint-groen
+modern,modern
+natuurlijk,"natuur,nature"
+nieuw-jaar,"nieuwjaarskaarten,nieuwjaarsborrel,nieuwjaarskaart"
+okergeel,oker-geel
+olifant,olifant
+ooievaar,ooievaar
+oranje,oranje
+origineel,origineel
+oudroze,oud-roze
+paars,paars
+panter,panter
+pastel,"softpastel,pure-pastel"
+peach,peach
+perzik,perzik
+populair,populair
+poster,poster
+regenboog,regenboog
+retro,retro-patroon
+roestbruin,roestbruin
+romantisch,"romantic,romantische-trouwkaarten"
+rood,rood
+rose,rose
+rosegoudfolie,"rosefolie,rose-goudfolie,rose-goud,rosegoud"
+roze,zalm-roze
+rustig,rustig
+safari,safaridieren
+samen-100,samen-100
+sarah,sarah
+seizoenskaartjes,seizoenen
+sierllijk,sierllijk
+silhouet,"silhouette,gezin-silhouet,silhouetje,silhouet-meisje"
+simpel,simpel
+slinger,slingers
+spetters,spetters
+sprookjes,sprookje
+stempel,stempel
+ster,ster
+sterren,sterren
+sterrenhemel,sterrenhemel
+sterretje,sterretje
+sterretjes,sterretjes
+stijlvol,stijlvol
+stippen,"stipjes,stippen-patroon"
+stoer,stoer
+strak,strak
+strand,"strandpaal,zee-strand,strandstijl"
+strepen,strepen
+strikje,echte-strikje
+symbool,symbool
+takjes,"takje,tak"
+themafeest,themafeest
+tijdlijn,tijdlijn
+tijger,tijger
+trend,trend-2020
+trendy,trendy
+tuinfeest,tuinfeestje
+tweede-kindje,"tweedekind,tweede-kind"
+tweeling,"jongenstweeling,meisjestweeling"
+typografie,"typografisch,stijlen-typografie"
+uil,uiltje
+uitnodiging-kraamfeest,uitnodiging-kraamfeest
+unisex,uniseks
+velvet,velvet
+verjaardag-volwassen,verjaardag-volwassen
+vintage,"vintages,vintage-achtergrond"
+vlakken-en-prints,vlakken-en-prints
+vlinder,vlindertje
+voertuig,voertuig
+voetjes,voetjes
+vogel,vogeltje
+vos,vos
+vrolijk,vrolijk
+vrouw,vrouw
+walvis,walvis
+watercolour,"aquarel-watercolor,aquarel-verf,watercolor,metwatercolour"
+waterdieren,zeedieren
+wereldbol,wereldbol
+wij-zijn-getrouwd,wij-zijn-getrouwd
+winter,winterkaart
+wit,witte
+wolkje,"wolkjes,wolken"
+zakelijke-kaart,zakelijke-kaart
+zakelijke-kerstkaart,zakelijke-kerstkaart
+zilver,zilver
+zilverfolie,zilverfolie
+zomer,zomerkaart
+zoon,zoon
+zusje,"grote-zus,zus"
+zwart,zwart
+zwart-wit,zwart-en-wit
+zwartfolie,zwartfolie

model/cardtagger/tags.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:780e2a76ef841f5962a3b6bfab0d31935ed5f869f24e771c3c1de08b698ac0c8
+size 243033119

requirements.txt

@@ -0,0 +1,11 @@
+numpy==1.24.3
+fastapi==0.68.1
+uvicorn==0.15.0
+pydantic==1.8.2
+requests==2.25.1
+aiofiles==0.7.0
+python-multipart==0.0.5
+fastai==2.7.9
+Pillow==9.2.0
+torch==1.12.0
+torchvision==0.13.0

server.py

@@ -0,0 +1,86 @@
+from fastapi import FastAPI, Response, Request, Header, Form, UploadFile, Body, BackgroundTasks
+from pydantic import BaseModel
+from fastapi.responses import FileResponse
+from starlette.middleware.cors import CORSMiddleware
+
+from cardtagger import cardtagger
+
+import io
+from PIL import Image
+import os, time
+
+app = FastAPI()
+app.add_middleware(
+CORSMiddleware,
+allow_origins=["*"], # Allows all origins
+allow_credentials=True,
+allow_methods=["*"], # Allows all methods
+allow_headers=["*"], # Allows all headers
+)
+
+# API_TOKEN = os.environ["API_TOKEN"]
+API_TOKEN = '34dsadfF$$%#$TGREGEFGE%Q*)(*&%'
+
+
+# ---------------------------------------------------------------------------
+# - Token auth method -
+# ---------------------------------------------------------------------------
+def check_auth(authorization_header):
+    if authorization_header == API_TOKEN :
+        return True
+    else:
+        return False
+
+# ---------------------------------------------------------------------------
+# - Delete cache files after 30 days -
+# ---------------------------------------------------------------------------
+def delete_old_files():
+    path = "./tmp"
+    now = time.time()
+
+    for filename in os.listdir(path):
+        filestamp = os.stat(os.path.join(path, filename)).st_mtime
+        filecompare = now - 14 * 86400
+        if filestamp < filecompare:
+            print(filename)
+            os.remove(os.path.join(path, filename))
+
+@app.on_event("startup")
+def startup_event() :
+    '''
+    Create out dir
+    '''
+    if not os.path.exists("/tmp"):
+        os.makedirs("/tmp")
+
+@app.get("/")
+async def root():
+    return {"message": "Hello image"}
+
+@app.post("/cardtagger")
+async def resolution(request : Request, background_tasks: BackgroundTasks, response : Response, data: UploadFile = Form(...)):
+
+    authorization_token = request.headers.get("Authorization", None)
+
+    check_token = check_auth(authorization_token)
+
+    if check_token:
+
+        image = io.BytesIO(await data.read())
+        image.seek(0)
+
+        result = cardtagger(image.read())
+
+        background_tasks.add_task(delete_old_files)
+
+        return result
+
+
+    else :
+        response.status_code = 401
+        return response
+
+
+
+
+#uvicorn server:app --host 0.0.0.0 --port 5050 --workers 4