Torej sem naredil API za razvrščanje slik, saj je to zame najboljši način za pakiranje moondream2, saj vztraja, da je v Pythonu. Uporabil sem grok, da sem si pomagal pri tem, in bil sem presenečen, da je imel le ~40 vrstic z uporabo fastapija.
Ampak ni delovalo!
Preprost primer: ustvaril sem model, naložil sliko in izvedel vprašanja, vendar je grok vztrajal pri ločevanju vdelav in preprosto ni mogel popraviti napak, ki so se dogajale, dokler nisem dosegel svojih dnevnih omejitev
Poskusil sem tudi qwen-coder 30b lokalno in ustvaril je podobno kodo, vendar tudi ta ni delovala!
Zato sem ročno pogledal to frankencode in hitro rešil težavo in stvar dejansko deluje!
Sem celo tako podkovan v tem (python venv/packaging;), da deluje brezhibno z AMD kartico na Linuxu.
