•  TOP

    有生之年一定看完

  •  TOP

    超详细!用Ingress-nginx搭建一个简单网关

    讲解了什么是 Ingress 以及 Ingress Controller,为什么要用 Ingress-nginx 来做流量转发。并通过 Helm Chart 搭建了一个 Ingress-nginx 控制器,配置了 HTTP 和 HTTPS 的代理规则,最后演示了如何基于不同域名访问不同的后端服务。

  •  TOP

    Graph Algorithm

    图论的常见算法与应用,涵盖图的存储结构、图的遍历、拓扑排序、最小生成树(Kruskal 和 Prim)、最短路径算法(Floyd、Dijkstra、Bellman-Ford、SPFA、Johnson)等。还涉及分层图、差分约束、二分图、欧拉图及树相关算法,如 LCA、树的直径、重构树和树链剖分等。

  • 理解 LLM 推理中的 KV Cache 机制

    在大型语言模型(LLM)的推理过程中,KV Cache(键值缓存)是一个至关重要的优化机制。它显著提升了模型在生成长文本时的效率和响应速度。本文将深入解析 KV Cache 的工作原理及其在推理中的应用。

  • More Attention is all you need

    本章在之前对注意力机制的基础上,介绍几种改进的注意力机制,包括多查询注意力(MQA)、分组查询注意力(GQA)以及FlashAttention等技术,这些技术在提升模型性能和推理效率方面发挥了重要作用。

  • Pre-trained Language Models介绍

    本文详细介绍了预训练语言模型(Pre-trained Language Models, PLM)的核心架构与代表模型,重点分析了 Encoder-only、Encoder-Decoder 和 Decoder-only 三种主流设计思路及其在自然语言处理任务中的应用优势。

  • Transformer架构详解

    本章我们将介绍如何搭建一个完整的 Transformer 模型。

  • Attention is all you need

    本篇主要讲解了注意力机制(Attention Mechanism)的基本原理和计算过程,包括各种优化技巧,如缩放点积注意力(Scaled Dot-Product Attention)、自注意力(Self-Attention)、掩码自注意力(Masked Self-Attention)和多头注意力(Multi-Head Attention)。

  • 常见的 LLM 文本嵌入(Embedding)方法解析

    本篇文章介绍大语言模型(LLM)中常用的文本嵌入(Embedding)方法,包括传统的 One-Hot 编码、词袋模型(BoW)、TF-IDF 以及现代的词向量(Word Embedding)技术。每种方法的原理、优缺点及其在实际中的应用场景都会进行详细讲解,并附有代码示例以帮助理解。

  • 常见的 LLM 分词器(Tokenizer)

    本篇文章介绍大语言模型(LLM)中常用的几种分词(Tokenizer)方法,包括传统分词、BPE、WordPiece、SentencePiece 以及 Unigram Language Model。我们将通过原理解析、应用场景和代码示例,帮助读者理解这些分词技术在 LLM 中的作用与实现。

/12