This series of videos on machine learning algorithms (Lab a through Lab d, so far) by Courage Kamusoko are the best explanations I've seen yet. How the models actually work, their strengths and weaknesses, what you are actually solving for when you tune the hyperparameters, and examples in Python. https://www.youtube.com/@couragekamusoko5689/videos
#SVM #KNN #DecisionTree #RandomForest
Машинное обучение: Классификация методом KNN. Теория и реализация. С нуля. На чистом Python
В этой статье я привел основные сведения о методе классификации k-ближайших соседей. Рассказываю все в своем стиле. Теоретические моменты и простая реализация. Содержание: что это за метод, идея этого метода, как классифицировать (регрессировать) новые объекты, масштабирование признаков, как его можно применять, реализация.
Major Update for Vector Search in SQLite 
#SQLite-vec v0.1.6 introduces powerful new features:
• Added support for #metadata columns enabling WHERE clause filtering in #KNN queries
• Implemented partition keys for 3x faster selective queries
• New auxiliary columns for efficient unindexed data storage
• Compatible with #embeddings from any provider
Key improvements:
• Store non-vector data like user_id and timestamps
• Filter searches using metadata constraints
• Optimize query performance through smart partitioning
• Enhanced data organization with auxiliary columns
Performance focus:
• Partition keys reduce search space significantly
• Metadata filtering streamlines result selection
• Auxiliary columns minimize JOIN operations
• Binary quantization options for speed optimization
#Database integration:
• Supports boolean, integer, float & text values
• Works with standard SQL queries
• Enables complex search combinations
• Maintains data consistency
Source: https://alexgarcia.xyz/blog/2024/sqlite-vec-metadata-release/index.html
#Zoomposium mit Dr. #Gabriele #Scheler: "Die #Sprache des #Gehirns - oder wie #KI von #biologischen #Sprachmodellen lernen kann"
Es zeichnet sich ein „#Paradigmenwechsel“ ab, der weg vom informationstechnologischen-mechanistischen, daten-getriebenen "#Big #Data"-Konzept der LLMs hin zu immer stärker informationsbiologische-polykontexturalen, struktur-getriebenen „#Künstliche, #Neuronale #Netzwerke (#KNN)“-Konzepten vollzieht.
Mehr auf: https://philosophies.de/index.php/2024/11/18/sprache-des-gehirns/
terminology question: exact vs approximate #kNN
HNSW is approximate, brute-force exact. but what about quantized brute-force? it's both exact (brute-force) and approximate to some degree (quantized). how do you differentiate between algorithm and precision? it should be called...
Thema: Künstliche Intelligenz
Diskussion bei Alex TV
Teil 1: Was ist künstliche Intelligenz?
Mehr dazu https://www.aktion-freiheitstattangst.org/cgi-bin/searchartl.pl?suche=künstliche&sel=meta
a-fsa.de/d/3Dz
Link: https://www.aktion-freiheitstattangst.org/de/articles/8950-20241031-thema-kuenstliche-intelligenz.html
Link im Tor-Netzwerk: http://a6pdp5vmmw4zm5tifrc3qo2pyz7mvnk4zzimpesnckvzinubzmioddad.onion/de/articles/8950-20241031-thema-kuenstliche-intelligenz.html
Tags: #KI #AI-Act #EU #Intelligenzbegriff #Computerhistorie #Algorithmen #LargeLanguageModel #LLM #NeuronaleNetze #KNN #Turingtest #MooresGesetz #Verbraucherdatenschutz #Datenschutz #Datensicherheit #Datenpannen #Datenskandale #Transparenz #Informationsfreiheit
K Nearest Neighbors | Intuitive explained | Machine Learning Basics
MachineLearning #DataScience #KNN Machine Learning Basics: Bitesize machine learning concept about K Nearest Neighbors ... source
https://quadexcel.com/wp/k-nearest-neighbors-intuitive-explained-machine-learning-basics/
In meiner Diplomarbeit über #KünstlicheNeuronaleNetze habe ich bereits 1995 den heutigen #Nobelpreis-Gewinner #GeoffreyHinton zitiert. Wer also mehr über die Grundlagen und Funktionsweise von #KNN erfahren möchte, kann gerne darin schmökern - kostenlos!
https://thomaswuest-blog.de/zinsprognosen-und-neuronale-netzwerke/
Нейронные оптимизаторы запросов в реляционных БД (Часть 2): На пути к продуктивизации
Нельзя просто взять и заменить нейросетями миллионы человеко-часов, вложенных в разработку классических оптимизаторов запросов реляционных СУБД. Надёжность, гибкость и скорость — ключевые характеристики экспертных систем, которые нарабатывались и отлаживались десятилетиями. В прошлой статье рассказали о пионерах в области нейросетевых оптимизаторов, которые создали плацдарм для развития подобных ML-систем и их последующего вывода на уровень коммерческих продуктов. В этой же — затронем относительно стабильные подходы, не требующие гигантских вычислительных кластеров и удовлетворяющие большую часть потребностей бизнеса. Серебряной пули, конечно, не существует, но с каждым из этих методов можно прийти к оптимальному решению для конкретной задачи.
Ab dem 1. Oktober startet das #Förderprogramm "Klimafreundlicher #Neubau im #Niedrigpreissegment" (#KNN), um den Bau von günstigen und nachhaltigen #Wohnungen zu unterstützen. Gefördert werden klimafreundliche #Neubauten mit niedrigen #Treibhausgasemissionen und optimierter #Wohnfläche. Durch zinsgünstige #KfW-Kredite sollen #Baukosten gesenkt werden. Kredite bis zu 100.000 Euro für #Privatpersonen und Unternehmen sind möglich
Discover the k-Nearest Neighbors algorithm and its Python implementation! This guide covers machine learning classification, distance metrics, and k-NN optimization techniques. Boost your data science skills now! #MachineLearning #Python #kNN
https://teguhteja.id/k-nearest-neighbors-algorithm-python-implementation/
Every now and then you get a review that makes you chuckle. Today's was on a reasonably basic #recsys paper, where #Reviewer2 is an expert in the area ("Very confident - I consider myself an expert in the area"), but does not know what the K in #knn does. :)
Теоретические основы всех популярных алгоритмов машинного обучения и их реализация с нуля на Python
В данной статье в виде ссылок представлены все популярные алгоритмы классического машинного обучения с их подробным теоретическим описанием и немного упрощённой реализацией с нуля на Python, отражающей основную идею. Помимо этого, в конце каждой темы указаны дополнительные источники для более глубокого ознакомления, а суммарное время прочтения статей ниже составляет более трёх часов !
Метод K-ближайших соседей (KNN). Принцип работы, разновидности и реализация с нуля на Python
К-ближайших соседей (K-Nearest Neighbors или просто KNN) — алгоритм классификации и регрессии, основанный на гипотезе компактности, которая предполагает, что расположенные близко друг к другу объекты в пространстве признаков имеют схожие значения целевой переменной или принадлежат к одному классу.
최근 #AI 연구들 나오는게 패턴이 다 거기서 거기라 (개개의 의미있음과는 별개로) 좀 식상한감이 없잖았는데.. 간만에 진짜 재밌는 논문을 하나 읽었습니다. ACL 2023에 발표된 논문인 것 같은데 인사이트가 매우 근사하네요.
전문: https://aclanthology.org/2023.findings-acl.426.pdf
저자들은 굉장히 단순한 #kNN (k-최근접 이웃) 알고리즘을 써서 #딥러닝 + #트랜스포머 기반의 모델들을 (특히 기존의 sota였던 #BERT 를) 능가하는 텍스트 분류 모델을 만들어 냈습니다. 그 아이디어가 진짜 기가 막힌데.. 압축 알고리즘을 핵심 거리측도로 사용했네요.
이게 뭔말이냐면
: 텍스트 A만 압축 → 별도로 A와 B를 같이 압축 → 사이즈가 비슷할수록 A와 B는 '가깝다'!
구현도 이해도 무척 직관적입니다. 그리고 *당연히* 딥러닝보다 훨씬 리소스를 덜먹습니다. 요즘 기준으로 BERT가 그리 무거운 모델은 아닙니다만 대규모 분류작업이 줄 이점을 생각하면 이 연구의 시사점은 큽니다.
Compressors such as #gzip + #kNN (k-nearest-neighbor i.e. your grandparents' #classifier) beats the living daylights of Deep neural networks (#DNNs) in sentence classification.
H/t @lgessler
Without any training parameters, this non-parametric, easy and lightweight (no #GPU) method achieves results that are competitive with non-pretrained deep learning methods on six in-distribution datasets.It even outperforms BERT on all five OOD datasets.
Das haben 
approximate 
1/9
