Vektorinės duomenų bazės (DB), kurios kadaise buvo specializuotos tyrimų priemonės, vos per kelerius metus tapo plačiai naudojama infrastruktūra. Jie teikia šiuolaikinę semantinę paiešką, rekomendacijų variklius, kovos su sukčiavimu priemones ir generuoja dirbtinio intelekto programas įvairiose pramonės šakose. Yra daugybė galimybių: PostgreSQL su pgvector, MySQL HeatWave, DuckDB VSS, SQLite VSS, Pinecone, Weaviate, Milvus ir keletas kitų.
Pasirinkimų gausa skamba kaip palaima įmonėms. Tačiau apačioje slypi vis didėjanti problema: krūvos nestabilumas. Kiekvieną ketvirtį atsiranda naujų vektorinių duomenų bazių su skirtingomis API, indeksavimo schemomis ir našumo kompromisais. Šiandienos idealus pasirinkimas rytoj gali atrodyti pasenęs arba ribotas.
Verslo AI komandoms nepastovumas virsta užsiblokavimo rizika ir migracijos pragaru. Dauguma projektų pradeda veikti naudojant lengvus variklius, pvz., „DuckDB“ arba „SQLite“, skirtus prototipams kurti, tada perkeliama į „Postgres“, „MySQL“ arba gamybinę debesies paslaugą. Kiekvienas jungiklis reikalauja perrašyti užklausas, pertvarkyti vamzdynus ir sulėtinti diegimą.
Šis pertvarkytas karuselis sumažina greitį ir judrumą, kurį turėtų suteikti dirbtinio intelekto pritaikymas.
Kodėl perkeliamumas dabar svarbus
Įmonės turi sudėtingą balansavimo veiksmą:
-
Greitai eksperimentuokite su minimaliomis pridėtinėmis išlaidomis, tikėdamiesi pabandyti ir iš anksto gauti naudos;
-
Saugiai naudokite stabilią, gamybinės kokybės infrastruktūrą be kelių mėnesių pertvarkymo;
-
Būkite vikrūs pasaulyje, kuriame beveik kiekvieną mėnesį atsiranda naujų ir geresnių užpakalinių programų.
Be perkeliamumo organizacijos stagnuoja. Jie turi techninių skolų dėl rekursinių kodų kelių, nesiryžta taikyti naujų technologijų ir negali greitai perkelti prototipų į gamybą. Tiesą sakant, duomenų bazė yra kliūtis, o ne greitintuvas.
Perkeliamumas arba galimybė perkelti pagrindinę infrastruktūrą neperkoduojant programos yra vis labiau strateginis reikalavimas įmonėms, diegiančioms dirbtinį intelektą dideliu mastu.
Abstrakcija kaip infrastruktūra
Sprendimas yra ne pasirinkti "tobulas" vektorių duomenų bazę (vienos nėra), bet pakeisti įmonių požiūrį į problemą.
Programinės įrangos inžinerijoje adapterio modelis suteikia stabilią sąsają, slepiant sudėtingumą. Istoriškai matėme, kaip šis principas pakeitė visas pramonės šakas:
-
ODBC / JDBC suteikė įmonėms vienintelį būdą reliacinėse duomenų bazėse pateikti užklausas, sumažindama riziką susieti su Oracle, MySQL arba SQL serveriu;
-
Apache Arrow standartizavo stulpelių duomenų formatus, todėl duomenų sistemos galėtų puikiai žaisti kartu;
-
ONNX sukūrė pardavėjo agnostinį formatą mašininio mokymosi (ML) modeliams, sujungdamas TensorFlow, PyTorch ir kt.;
-
„Kubernetes“ abstrahavo infrastruktūros detales, todėl darbo krūviai visur galėtų būti vienodi debesyse;
-
any-llm („Mozilla AI“) dabar suteikia galimybę turėti vieną API daugelyje didelių kalbos modelių (LLM) pardavėjų, todėl žaisti su AI yra saugesnis.
Dėl visų šių abstrakcijų buvo imtasi mažinti keitimo išlaidas. Jie sulaužytas ekosistemas pavertė tvirta, įmonės lygio infrastruktūra.
Vektorinės duomenų bazės taip pat yra tame pačiame lūžio taške.
Adapterio požiūris į vektorius
Vietoj to, kad programos kodas būtų tiesiogiai susietas su tam tikra vektorine sistema, įmonės gali kompiliuoti pagal abstrakcijos sluoksnį, kuris normalizuoja tokias operacijas kaip įterpimai, užklausos ir filtravimas.
Tai nebūtinai pašalina poreikį pasirinkti užpakalinę programą; dėl to šis pasirinkimas tampa ne toks griežtas. Kūrimo komandos gali pradėti nuo „DuckDB“ arba „SQLite“ laboratorijoje, tada išplėsti mastą iki „Postgres“ arba „MySQL“ gamybai ir galiausiai pritaikyti specialios paskirties debesies vektorių duomenų bazę, nereikalaujant iš naujo suprojektuoti programos.
Atvirojo kodo pastangos, tokios kaip Vectorwrap, yra ankstyvieji šio požiūrio pavyzdžiai, pateikiantys vieną Python API „Postgres“, „MySQL“, „DuckDB“ ir „SQLite“. Jie demonstruoja abstrakcijos galią pagreitinti prototipų kūrimą, sumažinti užsiblokavimo riziką ir palaikyti hibridines architektūras, kuriose naudojama daug užpakalinių programų.
Kodėl verslui turėtų rūpėti
Duomenų infrastruktūros lyderiams ir AI sprendimus priimantiems asmenims abstrakcija suteikia tris privalumus:
Greitis nuo prototipo iki gamybos
Komandos gali kurti prototipus lengvoje vietinėje aplinkoje ir išplėsti be brangių perrašymų.
Sumažėjusi pardavėjo rizika
Atsiejant programos kodą nuo konkrečių duomenų bazių, organizacijos gali pritaikyti naujas vidines programas, kai jos atsiranda be ilgų perkėlimo projektų.
Hibridinis lankstumas
Įmonės gali maišyti transakcinius, analitinius ir specializuotus vektorinius duomenų bazes vienoje architektūroje, o visa tai yra apibendrinta sąsaja.
Rezultatas – duomenų sluoksnio judrumas, ir tuo vis labiau skiriasi greitos ir lėtos įmonės.
Platesnis atvirojo kodo judėjimas
Tai, kas vyksta vektorinėje erdvėje, yra vienas iš didesnės tendencijos pavyzdžių: atvirojo kodo abstrakcijos kaip kritinė infrastruktūra.
-
Duomenų formatais: Apache Arrow
-
ML modeliuose: ONNX
-
Orkestruoja: Kubernetes
-
AI API: bet kokios LLM ir kitos panašios sistemos
Šie projektai sėkmingi ne pridedant naujų galimybių, o pašalinant trintį. Jie leidžia įmonėms greičiau judėti, apsidrausti nuo lažybų ir vystytis kartu su ekosistema.
Vector DB adapteriai tęsia šį palikimą, paversdami didelės spartos, suskaidytą erdvę į infrastruktūrą, kuria įmonės tikrai gali pasikliauti.
Vektorinio DB perkeliamumo ateitis
Vektorinių DB kraštovaizdis greitai nesusilies. Vietoj to, parinkčių skaičius augs ir kiekvienas pardavėjas prisitaikys prie skirtingų naudojimo atvejų, masto, delsos, hibridinės paieškos, atitikties ar debesies platformos integracijos.
Abstrakcija šiuo atveju tampa strategija. Įmonės, taikančios nešiojamus metodus, galės:
-
Drąsiai kurkite prototipus
-
Lankstus diegimas
-
Greitai pereinama prie naujų technologijų
Gali būti, kad galiausiai pamatysime a "JDBC vektoriams," universalus standartas, kodifikuojantis užklausas ir operacijas visose vidinėse sistemose. Iki tol atvirojo kodo abstrakcijos kloja pamatus.
Išvada
Įmonės, taikančios dirbtinį intelektą, negali sau leisti, kad jas sulėtintų duomenų bazės blokavimas. Vystantis vektorinei ekosistemai, laimi tie, kurie abstrakciją traktuoja kaip infrastruktūrą, kuria pasitelkdami nešiojamas sąsajas, o ne prisiriša prie kokios nors atskiros sistemos.
Dešimtmečius trukusi programinės įrangos inžinerijos pamoka yra paprasta: standartai ir abstrakcijos veda prie priėmimo. Dėl vektorinių DB ta revoliucija jau prasidėjo.
Mihir Ahuja yra AI/ML inžinierius ir atvirojo kodo bendradarbis, įsikūręs San Franciske.
