Publikováno
December 2, 2024

Nová úroveň AI pomocí LangChain: oblíbený nový rámec BigHub

V BigHub, naše cesta s LangChainem začala jednoduchým voláním API - ale rychle vyšlo najevo, že se jedná o víc než jen další knihovnu. LangChain předefinuje, jak stavíme s velkými jazykovými modely, a nabízí nástroje pro snadné vytváření chytřejších a adaptivnějších aplikací AI.

Gen AI
Data

LangChain: Rámec postavený pro budoucnost

LangChain je modulární rámec s otevřeným zdrojovým kódem navržený tak, aby pomohl vývojářům využít sílu velkých jazykových modelů (LLM). Díky podpoře více programovacích jazyků, jako je Python a JavaScript, je to flexibilní a přístupné řešení pro vytváření aplikací řízených umělou inteligencí, které rozumějí kontextu, řeší problémy a jednají podle toho.

Od chvíle, kdy jsme s ním poprvé experimentovali, jsme viděli, jak LangChain jde daleko za hranice jednoduchých aplikací rychlé reakce. Umožňuje systémy založené na agentech — inteligentní pracovní postupy, které využívají uvažování, volání nástrojů a paměť k plnění složitých úkolů.

‍

Proč to milujeme: modularita, integrace a přizpůsobení

Díky třem věcem vyniká LangChain pro nás na BigHub:

  1. Snadná integrace — Rychle jej zapojte do stávajících systémů.
  2. Modulární konstrukce Používejte jen to, co potřebujete, nic víc.
  3. Vysoká přizpůsobitelnost — Přizpůsobte jej tak, aby vyhovoval konkrétním obchodním případům, aniž byste museli přestavovat svůj stack.

Struktura LangChain umožňuje podnikům rozvíjet své schopnosti AI, aniž by potřebovaly masivní generální opravy - ideální v dnešním rychle se rozvíjejícím technologickém prostředí.

‍

Agenti, sady nástrojů a případy použití

LangChain vám dává plán pro stavbu agenti — inteligentní komponenty, které kombinují uvažování s akcí. Tito agenti mohou:

  • Shrnutí dokumentů
  • Vyhledávání v databázích
  • Působit jako druzí piloti v obchodních pracovních postupech
  • Napájení inteligentních chatbotů
  • Odpovězte na složité dotazy pomocí dat v reálném čase

Bez ohledu na případ použití, sada nástrojů LangChain usnadňuje přechod od konceptu k prototypu k výrobě.

‍

Od vstupu k přehledu: Jak funguje LangChain

LangChain není jen kód - je to logický tok, který odráží lidské uvažování. Přemýšlejte o tom jako o dynamice vývojový diagram, kde každý uzel představuje kognitivní krok: porozumění dotazu, načtení relevantních dat, generování výzvy a nakonec vytvoření odpovědi.

Zde je zjednodušený výraz LangChain, který to ilustruje:

chain = (
    {
        "query_text": itemgetter("query_text"),
        "chat_history": itemgetter("chat_history"),
        "sources": {
            "chat_history": itemgetter("chat_history")
        }
        | RunnableLambda(lambda x: create_prompt(x["chat_history"]))
        | model_2
        | RunnableLambda(search_azure_cognitive_search),
    }
    | RunnableLambda(lambda x: create_template_from_messages(x["chat_history"]))
    | model
)

‍

Není to jen syntaxe - je to příběh. Strukturovaný proces, díky kterému jsou odpovědi AI relevantnější, informovanější a konverzační.

Shrnutí

Ve společnosti BigHub se LangChain stal základním kamenem našeho konverzační strategie AI. Umožňuje nám vytvářet chytřejší, modulární a více lidské systémy, které se přizpůsobí složitým obchodním potřebám. Ať už chcete automatizovat podporu, vytvářet inteligentní agenty nebo vyvíjet pokročilá jazyková rozhraní, LangChain to umožňuje - a BigHub vám to může pomoci.

Budujme budoucnost komunikace využívající umělou inteligenci. Společně.

‍

Podobné články

Nejnovější zprávy, průzkumy, rozhovory, technologie a zdroje.

AI
0
min
read

Jak vytvořit inteligentní vyhledávání: Od fulltextu k hybridnímu vyhledávání s optimalizací

Když jsme začali pracovat na pokročilém vyhledávacím systému, rychle jsme zjistili, že tradiční fulltextové vyhledávání má vážné limity. Uživatelé hledají zkratky, píší dotazy s překlepy, nebo používají synonyma, která tradiční vyhledávání nerozpozná. Navíc potřebujeme, aby systém vyhledával nejen v názvech entit, ale i v jejich popisech a souvisejících informacích. A co víc – uživatelé často hledají podle kontextu, například synonyma, nebo dokonce v různých jazycích. Tento článek popisuje, jak jsme vybudovali hybridní vyhledávací systém kombinující fulltextové vyhledávání (BM25) s vektorovými embeddingy, a jak jsme pomocí hyperparameter search optimalizovali scoring, abychom dosáhli nejlepších výsledků pro naše uživatele.
Přečíst více
Problém: Limity tradičního vyhledávání

Tradiční fulltextové vyhledávání, založené na algoritmech jako BM25, má několik zásadních omezení:

1. Překlepy a variace

  • Uživatelé často píší dotazy s překlepy nebo používají různé varianty názvů
  • Tradiční vyhledávání vyžaduje přesnou shodu nebo velmi podobný text

2. Vyhledávání pouze v názvech

  • Fulltextové vyhledávání typicky hledá pouze v konkrétních polích (například název produktu nebo entity)
  • Pokud je relevantní informace v popisu nebo v souvisejících entitách, systém ji nenajde

3. Chybějící sémantické porozumění

  • Systém nerozpozná synonyma nebo související koncepty
  • Například dotaz "auto" nenajde výsledky obsahující "automobil" nebo "vůz", i když jde o stejný koncept
  • Mezijazyčné vyhledávání je téměř nemožné – český dotaz nenajde anglické výsledky

4. Kontextové vyhledávání

  • Uživatelé často hledají podle kontextu, ne přesných názvů
  • Například dotaz "produkty od výrobce X" by měl najít všechny relevantní produkty, i když název výrobce není explicitně uveden v dotazu

‍

Řešení: Hybridní vyhledávání s embeddingy

Řešením je kombinace dvou přístupů: tradičního fulltextového vyhledávání (BM25) a vektorových embeddingů pro sémantické vyhledávání.

Vektorové embeddingy pro sémantické porozumění

Vektorové embeddingy převádějí text do vícerozměrného prostoru, kde podobné významy jsou blízko sebe. To umožňuje:

  • Vyhledávání podle významu: Dotaz "notebook" najde výsledky obsahující "laptop", "přenosný počítač" nebo dokonce související koncepty
  • Mezijazyčné vyhledávání: Český dotaz může najít anglické výsledky, pokud mají podobný význam
  • Kontextové vyhledávání: Systém rozumí vztahům mezi entitami a koncepty
  • Vyhledávání v celém obsahu: Embeddingy mohou být vytvořeny z celého dokumentu, nejen z názvu
Proč embeddingy samotné nestačí

I když jsou embeddingy mocným nástrojem, samy o sobě nejsou dostatečné:

  • Překlepy: Vektorové embeddingy mohou mít problém s překlepy, protože malá změna v textu může vést k odlišnému embeddingu
  • Přesné shody: Někdy chceme najít přesnou shodu názvu, což fulltextové vyhledávání dělá lépe
  • Výkon: Vektorové vyhledávání může být pomalejší než optimalizované fulltextové indexy
Hybridní přístup: BM25 + HNSW

Ideální řešení kombinuje oba přístupy:

  • BM25 (Best Matching 25): Tradiční fulltextový algoritmus, který exceluje v přesných shodách a zpracování překlepů
  • HNSW (Hierarchical Navigable Small World): Efektivní algoritmus pro vyhledávání v prostoru vektorů, který umožňuje rychlé nalezení nejbližších sousedů v embedding prostoru

Kombinací těchto dvou přístupů získáme to nejlepší z obou světů: přesnost fulltextového vyhledávání pro přesné shody a sémantické porozumění embeddingů pro kontextové dotazy.

‍

Výzva: Správné seřazení výsledků

Najít relevantní výsledky je jen první krok. Stejně důležité je je správně seřadit. Uživatelé typicky klikají na první několik výsledků, takže špatné seřazení může výrazně snížit užitečnost vyhledávání.

Proč samotné seřazení (sort by) nestačí

Jednoduché seřazení podle jednoho kritéria (například data) není dostatečné, protože potřebujeme zohlednit více faktorů současně:

  • Relevance: Jak dobře výsledek odpovídá dotazu (z fulltextového i vektorového vyhledávání)
  • Obchodní hodnota: Výsledky s vyšší marží by měly být výše
  • Čerstvost: Novější položky jsou často relevantnější než staré
  • Popularita: Populárnější položky mohou být pro uživatele zajímavější
Scoring funkce: Kombinace více faktorů

Místo jednoduchého "sort by" potřebujeme komplexní scoring systém, který kombinuje:

  1. Fulltextové skóre: Jak dobře výsledek odpovídá dotazu podle BM25
  2. Vektorové distance: Sémantická podobnost podle embeddingů
  3. Scoring funkce:
    • Magnitude funkce pro marži/popularitu (vyšší hodnoty = vyšší skóre)
    • Freshness funkce pro čas (novější = vyšší skóre)
    • Další obchodní metriky podle potřeby

Výsledné skóre je pak vážená kombinace všech těchto faktorů. Problém je, že správné váhy nejsou zřejmé a musíme je najít experimentálně.

‍

Hyperparameter search: Hledání optimálních vah

Správné nastavení vah pro fulltextové vyhledávání, vektorové embeddingy a scoring funkce je kritické pro kvalitu výsledků. Tento proces se nazývá hyperparameter search.

Vytvoření testovacího datasetu

Základem úspěšného hyperparameter search je kvalitní testovací dataset. Vytvoříme dataset dotazů, u kterých přesně víme, jak by měly vypadat ideální výsledky:

  • Referenční výsledky: Pro každý testovací dotaz máme seznam očekávaných výsledků v správném pořadí
  • Anotace: Každý výsledek je označen jako relevantní nebo nerelevantní, případně s prioritou
  • Reprezentativní vzorky: Dataset by měl pokrývat různé typy dotazů (přesné shody, synonyma, překlepy, kontextové dotazy)
Metriky pro hodnocení kvality

Abychom mohli objektivně posoudit, zda jsou výsledky dobré, potřebujeme metriky, které porovnávají skutečné výsledky s referenčními:

1. Kontrola úplnosti (Recall)

  • Obsahují výsledky vše, co by měly obsahovat?
  • Jsou všechny relevantní položky přítomny v seznamu výsledků?

2. Kontrola pořadí (Ranking Quality)

  • Jsou výsledky ve správném pořadí?
  • Jsou nejrelevantnější výsledky na prvních místech?

Mezi konkrétní metriky patří například NDCG (Normalized Discounted Cumulative Gain), která hodnotí jak úplnost, tak správné pořadí výsledků. Další užitečné metriky zahrnují Precision@K (kolik relevantních výsledků je v prvních K pozicích) nebo MRR (Mean Reciprocal Rank), která měří pozici prvního relevantního výsledku.

Iterativní optimalizace

Proces hyperparameter search probíhá iterativně:

  1. Nastavení počátečních vah: Začneme s rozumnými výchozími hodnotami
  2. Testování kombinací: Systematicky testujeme různé kombinace vah pro:
    • Váhy fulltextových polí (například název produktu vs. popis)
    • Váhy vektorových polí (embeddingy pro různé části dokumentu)
    • Boost hodnoty pro scoring funkce (marže, čas, popularita)
    • Agregační funkce (jak kombinovat různé scoring funkce)
  3. Hodnocení výsledků: Pro každou kombinaci spustíme vyhledávání na testovacím datasetu a vypočítáme metriky
  4. Výběr nejlepších parametrů: Vybereme kombinaci s nejlepšími metrikami
  5. Refinování: Pokud je to potřeba, zúžíme rozsah testování kolem nejlepších hodnot a opakujeme proces

Tento proces může být časově náročný, ale je nezbytný pro dosažení optimálních výsledků. Automatizace tohoto procesu umožňuje testovat stovky nebo tisíce kombinací parametrů a najít ty nejlepší.

‍

Sledování a iterativní zlepšování

I po optimalizaci parametrů je důležité systém kontinuálně sledovat a zlepšovat.

Sledování chování uživatelů

Klíčovou metrikou je, zda uživatelé klikají na výsledky, které jim systém nabízí. Pokud uživatel neklikne na první výsledek, ale až na třetí nebo čtvrtý, je to signál, že seřazení není optimální.

Co sledovat:

  • Click-through rate (CTR): Kolik uživatelů klikne na výsledky
  • Pozice kliknutí: Na které pozici uživatelé klikají (ideálně by měli klikat na první výsledky)
  • Dotazy bez kliknutí: Dotazy, na které uživatelé vůbec nekliknou, mohou indikovat špatné výsledky
Analýza problémových případů

Když identifikujeme dotazy, kde uživatelé neklikají na první výsledky, měli bychom:

  1. Zaznamenat tyto případy: Uložit dotaz, vrácené výsledky a pozici, na kterou uživatel klikl
  2. Analyzovat: Proč systém vrátil špatné pořadí? Chybí relevantní výsledky? Jsou na špatných pozicích?
  3. Přidat do testovacího datasetu: Tyto případy by měly být součástí našeho testovacího datasetu pro budoucí optimalizace
  4. Upravit váhy: Na základě analýzy můžeme upravit váhy nebo přidat nová pravidla

Tento iterativní proces zajišťuje, že systém se neustále zlepšuje a přizpůsobuje se skutečnému chování uživatelů.

‍

Implementace na Azure: AI Search a OpenAI Embeddings

Všechny tyto komponenty můžeme efektivně implementovat pomocí služeb Microsoft Azure.

Azure AI Search

Azure AI Search (dříve Azure Cognitive Search) poskytuje:

  • Hybridní vyhledávání: Nativní podpora pro kombinaci fulltextového (BM25) a vektorového vyhledávání
  • HNSW indexy: Efektivní implementace HNSW algoritmu pro vektorové vyhledávání
  • Scoring profiles: Flexibilní systém pro definování vlastních scoring funkcí
  • Text weights: Možnost nastavit váhy pro různá fulltextová pole
  • Vector weights: Možnost nastavit váhy pro různá vektorová pole

Azure AI Search umožňuje definovat scoring profiles, které kombinují:

  • Magnitude scoring funkce pro numerické hodnoty (marže, popularita)
  • Freshness scoring funkce pro časové hodnoty (datum vytvoření, datum aktualizace)
  • Text weights pro fulltextová pole
  • Vector weights pro vektorová pole
  • Agregační funkce pro kombinování různých scoring funkcí
OpenAI Embeddings

Pro vytváření embeddingů používáme OpenAI Embeddings, konkrétně modely jako text-embedding-3-large:

  • Kvalitní embeddingy: OpenAI modely poskytují vysoce kvalitní embeddingy, které dobře fungují i pro češtinu
  • Konzistentní API: Jednoduchá integrace s Azure AI Search
  • Škálovatelnost: OpenAI API zvládne velké objemy požadavků

OpenAI embeddingy jsou zvlášť vhodné pro češtinu, protože byly trénovány na vícejazyčných datech a poskytují dobré výsledky i pro menší jazyky.

Integrace

Azure AI Search umožňuje přímo použít OpenAI embeddingy jako vectorizer, což zjednodušuje integraci. Můžeme definovat vektorová pole v indexu, která automaticky používají OpenAI pro vytváření embeddingů při indexování dokumentů.

‍
AI
0
min
read

EU AI Act: Co to je, koho se týká a jak ho vaší firmě pomůžeme zvládnout bez stresu

V roce 2024 vstoupil v platnost tzv. AI Act, první komplexní zákon Evropské unie, který reguluje používání a vývoj umělé inteligence. Kterých firem se týká, jak se vyhnout drakonickým pokutám a jak to funguje, když chcete, aby za vás starosti se zaváděním legislativy AI Act vyřešil někdo jiný, například BigHub? Rozvoj umělé inteligence v posledních letech nabral takovou rychlost, že na něj musí stejně bleskově reagovat i legislativa. V BigHub věříme, že je to krok správným směrem.
Přečíst více
Co je AI Act a proč vznikl

AI Act je první ucelený zákon Evropské unie, který stanovuje pravidla pro vývoj a používání umělé inteligence. Myšlenka za vznikem této legislativy je zřejmá: jen díky jasným pravidlům může být AI pro firmy i jejich zákazníky bezpečná, transparentní a etická.

Umělá inteligence dnes proniká do stále více oblastí života i podnikání, a proto EU chce, aby její používání i rozvoj probíhal zodpovědně a bez rizika zneužití, diskriminace či jiných negativních dopadů. AI Act má chránit spotřebitele, posilovat férovou konkurenci a nastavit jednotná pravidla pro všechny členské státy Evropské unie.

‍

Koho se AI Act týká

Ďábel se často skrývá v detailu, což trochu platí také o AI Actu. Tato legislativa totiž nedopadá jen na firmy vyvíjející umělou inteligenci, ale i na ty, které ji jakkoliv používají ve svých produktech, službách nebo interních procesech. Typicky se tak souborem zákonů AI Act musí řídit podniky, které například: 

  • vyvíjí AI
  • používají AI pro rozhodování o lidech (např. nábor nebo hodnocení výkonu zaměstnanců)
  • automatizují zákaznické služby (např. chatboti nebo hlasoví asistenti)
  • zpracovávají pomocí AI citlivá data 
  • integrují AI do produktů a služeb
  • provozují AI systémy třetích stran (např. nasazení hotových AI řešení od externích dodavatelů ve vlastním podnikání)

AI Act samozřejmě rozlišuje běžný software od AI systému, takže je vždy potřeba zjistit, jestli dané řešení pracuje autonomně a adaptivně (tzn. učí se z dat a optimalizuje své výsledky), nebo pouze vykonává předem definované instrukce a nesplňuje tak definici AI řešení. 

Mimochodem: legislativa se vztahuje nejen na nové, ale i na již existující aplikace využívající AI (včetně machine learningu).

Abyste s těmito starostmi nemuseli trávit desítky hodin času a strachovat se, jestli vše splňujete, jak máte, v BigHub implementaci AI Act rádi vyřešíme za vás.

‍

Co konkrétně AI Act reguluje

Legislativa AI Act definuje spoustu detailních požadavků, těmi vás teď ale nechceme zatěžovat. Pro firmu využívající AI je důležité vědět, že se AI Act zabývá několika hlavními kategoriemi.

1. Klasifikace rizik 

Legislativa používá stupnici rizikovosti AI řešení, od minimálně rizikových až po velmi rizikové, nebo dokonce zakázané.

2. Povinnosti vývojářů i provozovatelů AI 

Například dodržování bezpečnostních norem, pravidelná dokumentace nebo zajištění přísného dohledu.

3. Transparentnost a vysvětlitelnost 

Uživatelé AI nástrojů musí vědět, že komunikují s umělou inteligencí. 

4. Zakázané aplikace AI

Například systémy, které manipulují lidským chováním či cíleně diskriminují určité skupiny.

5. Monitorování a hlášení incidentů

Udává firmám povinnost hlásit nežádoucí události a nesprávné fungování AI systémů.

6. Zpracování citlivých dat

AI Act reguluje používání osobních, biometrických či zdravotních údajů všech lidí, kteří s nástroji umělé inteligence pracují.

‍

Vyhněte se obrovským pokutám 

Sankce za nedodržování pravidel stanovených AI Act jsou vysoké, konkrétně vás mohou stát až 7 % z celosvětového obratu firmy, což v případě některých firem činí i miliony eur. 

Proto doporučujeme nad novými AI regulacemi nemávnout rukou a včas je implementovat na všech místech ve firmě, kde využíváte umělou inteligenci.

‍

Přehoďte starosti se zaváděním regulace AI Act na nás

Nemáte desítky hodin času studovat složité zákony a nechcete riskovat, že vaše firma dostane vysokou pokutu? Přehoďte starosti se záváděním regulace AI Act na nás.

Zákazníkům po celém světě dlouhodobě pomáháme zavádět osvědčené postupy a frameworky, zrychlovat inovace a optimalizovat procesy, takže rádi budeme k ruce i vám.

  • AI pro vás vyřešíme „na klíč“, kromě vývoje AI řešení se postaráme také o zapracování regulace AI Act. Celým procesem vás postupně provedeme.
  • Vytvoříme vaší firmě interní směrnice na využívání AI. 
  • Provedeme audit AI aplikací, které již používáte.
  • Vaše současné i nově implementované AI aplikace nastavíme tak, aby byly v souladu s AI Act.
  • Posoudíme za vás rizika, abyste věděli, která AI řešení a jak můžete používat.
  • Pomůžeme vám se zmapováním současné situace i s tvorbou nezbytné dokumentace či procesních povinností.
AI
0
min
read

Databricks Mosaic vs. Custom Frameworky: Jak vybrat správnou cestu pro GenAI

Generativní AI má dnes mnoho podob – od proprietárních API či frameworků (například Response API nebo Agent AI Service od Microsoftu), přes open-source frameworky až po integrované schopnosti přímo v datových platformách. Jednou z možností je Databricks Mosaic, které nabízí jednoduchou cestu, jak na existující datové platformě rychle postavit první GenAI aplikace. V BigHubu s Databricks pracujeme denně a máme i praktické zkušenosti s Mosaic. Víme tedy, kde tato technologie pomáhá a kde začíná narážet. V několika případech jsme se setkali s tím, že klienti na Databricks Mosaic tlačili jako na „povinnou cestu“, ale výsledkem byly zbytečné kompromisy v kvalitě. I proto je naší rolí pomoci klientům rozhodnout, zda se Mosaic skutečně vyplatí, nebo zda je lepší zvolit flexibilnější přístup s vlastním frameworkem.
Přečíst více
Proč firmy volí Databrics Mosaic

Pokud má organizace již vybudovanou datovou platformu na Databricks, je logické zvážit i Mosaic. Využití jedné technologie přináší architektonickou čistotu, jednodušší správu a rychlý start.

‍

Databricks Mosaic má nesporné výhody:

  • Jednoduchost: tvorba interních chatbotů a základních agentů je rychlá a přímočará.
  • Governance by design: logování, lineage a kontrola nákladů jsou zabudované.
  • Integrace s daty: MCP servery a SQL funkce umožňují agentům pracovat s firemními daty bez složitého vývoje.
  • Vývojářská podpora: funkce jako Genie (konkurence Fabric Copilot) nebo assisted debugging reálně zrychlují práci vývojářů.

‍

Pro jednodušší scénáře – například interní asistenty nad firemními daty – je Databricks Mosaic rychlým a efektivním řešením. I my v BigHubu jsme Databricks Mosaic nasadili například u velkého výrobního podniku nebo retailové společnosti, kde šlo o jednoduché dotazování do firemních dat.

‍

Kde Databricks Mosaic nestačí

Složitější projekty ale kladou jiné nároky – na latenci, přesnost, multiagentní logiku či integraci do stávajících systémů. A zde Mosaic naráží na své limity:

  • Strukturovaný output: Databricks Mosaic neumí efektivně vynutit strukturovaný výstup, která se projeví v kvalitě výstupu či provozní stabilitě různých řešení (např. voiceboti či OCR)
  • Vícekrokové workflow: procesy jako likvidace pojistných událostí nebo úpisy jsou v Databaricks Mosaic buď nemožné, nebo zbytečně složité.
  • Latency-critical scénáře: Databricks Mosaic přidává další vrstvu mezi uživatele a model, což komplikuje nízkolatenční aplikace.
  • Integrace mimo Databricks: pokud firma nechce využívat jen Vector Search a Unity Catalog, je propojení s dalšími systémy složitější než v čistém Python frameworku.
  • Omezený katalog modelů: dostupných modelů je zatím jen několik, nelze připojit vlastní ani ty z jiných cloudů.

‍

Databricks přitom sám uvádí, že Mosaic nemá ambici nahradit specializované frameworky – a do jisté míry je to pravda. Překryv ale existuje a v těchto složitějších případech Mosaic zatím ztrácí flexibilitu.

‍

Kde dává smysl custom framework

Custom framework má největší výhodu tam, kde projekt vyžaduje komplexní logiku, multiagentní orchestraci nebo nízkou latenci.

  • Více agentů: spolupráce agentů s různými rolemi a dovednostmi.
  • Streaming a realtime: nezbytné pro call centra, voiceboty či fraud detection.
  • Custom logika: přesně definované workflow a vícekrokové procesy.
  • Regulační compliance: transparentní auditovatelnost podle AI Act.
  • Flexibilita: využití jakýchkoliv knihoven, modelů a architektur bez vendor lock-inu.

‍

To ale neznamená, že Databricks Mosaic nelze využít i pro byznysově komplexní případy. U některých scénářů to možné je. Pokud se ale řeší aplikace, kde rozhoduje latence, strukturovaný výstup nebo přesnost, Databricks Mosaic dnes spíše pokulhává.

‍

Jak to řeší BigHub

V BigHubu jsme přesvědčeni, že neexistuje univerzální odpověď. Databricks Mosaic má své místo a v řadě projektů či scénářů ho bez váhání a úspěšně využíváme. Pak jsou ale situace, kdy doporučíme customizovaný framework, protože je to pro klienta dlouhodobě nejefektivnější cesta.

  • Výrobní podnik a retail: Databricks Mosaic jsme využili pro interní asistenty nad firemními daty (SQL queries). Nasazení bylo rychlé, governance je vestavěná a pro tento typ dotazů fungoval velmi dobře.
  • Pojišťovnictví (likvidace škod): Zde Databricks Mosaic nestačil – chyběl structured output, víceagentní orchestrace i práce s hlasem. Custom framework nám umožnil přesnost, vícekrokovou logiku a auditovatelnost podle AI Act.
  • Bankovnictví (úpisy): Procesy vyžadující vícekrokové workflow a integraci do core systémů jsou v Databricks Mosaic zbytečně složité. Využili jsme vlastní middleware, který zvládá více agentů i modely z různých cloudů.
  • Call centra a OCR: Latency-critical aplikace nebo scénáře vyžadující strukturovaný výstup (např. extrakce dat z dokumentů, voiceboti) Databricks Mosaic nepodporuje. Tyto případy vždy řešíme custom řešením.

‍

Naše role je v tom, že klienta netlačíme do jedné technologie. Pomůžeme rozhodnout, kdy se vyplatí Databricks Mosaic a kdy je nutné jít cestou custom. Díky tomu dokážeme zajistit rychlý start i dlouhodobou udržitelnost.

‍

Naše doporučení
  • Databricks Mosaic: vhodný pro firmy s Databricks ekosystémem, které chtějí rychle spustit interní asistenty nebo jednodušší agenty s dobrou správou a governance.
  • Custom framework: lepší volba tam, kde jsou potřeba složité vícekrokové procesy, multiagentní orchestrace, strukturovaný výstup nebo nízká latence.

‍

BigHub oba přístupy zná z praxe. Proto našim klientům nepřinášíme jen technologii, ale hlavně kompetenci vybrat tu správnou kombinaci pro jejich konkrétní situaci.

View all
Všechny články

Napište si o nezávaznou konzultaci zdarma

Chcete s námi probrat podrobnosti? Vyplňte krátký formulář níže a my se vám brzy ozveme, abychom si s vámi domluvili termín nezávazné online konzultace zdarma.

Ověřeno 100 + firmami
Thank you! Your submission has been received.
Oops! Something went wrong.