构建「足够快」的网络服务:从延迟指标到 QUIC 实践

在当今的互联网应用中,「网络速度」往往是影响用户体验的关键因素之一。即使后端服务器处理能力和程序性能再强大,如果网络本身的延迟过高或可靠性不足,也会导致用户体验“卡顿”甚至无法访问。本篇文章从多维度探讨如何构建“足够快”的网络服务,既包含可量化的延迟指标,也涵盖 HTTPS 加密、现代拥塞控制、域名解析和 QUIC 等方方面面。

深入Linux内核网络技术

整个 Linux 网络世界就像一座充满规则的“城市”:操作系统是城市的法律,Netfilter/iptables 是警察与交通管制,eBPF/XDP 则是高速专用快车道,VLAN/VXLAN 则是城市内部和城际间的虚拟“道路扩展”方案。它们共同构筑了现代云原生和大规模网络的坚实根基。祝你在学习和实践中掌握并灵活运用这些“规则”与“道路”!

云原生技术概论

从解决问题的角度出发,解释云原生技术的变革,介绍云原生代表技术。接下来将基于“良好的架构设计思想”主题层层推进,深入讨论设计一套兼具稳定(高可用)、成本(少花钱)和效率(敏捷开发)的系统时,所面临的抉择和权衡。

Go脚手架&工具链创建标准项目

为了提升开发效率、规范项目结构,推荐使用 sponge 和 Kratos 两种 Go 生态下的脚手架工具。以下将详细介绍这两种工具的安装、使用方法及其在项目开发中的应用流程。此外,还将简要比较 Python 生态中的 pdm 和 poetry,并提供从开发到部署的完整流程示例

Go项目目录规范及工具链标准文档

整合了社区广泛认可的 Project Layout、bilibili QCon 实践、Kratos/sponge 脚手架经验,以及对单体与微服务模式的多方位支持。整体分为8章。希望能帮助团队快速落地、持续迭代

Gradio功能详解

Gradio 是一个强大的工具,可以帮助开发者快速搭建机器学习模型的用户界面,便于进行测试、演示以及获取反馈。无论你是研究人员、开发者,还是希望让自己的模型被更多人使用的爱好者,Gradio 都是一个值得考虑的选择。它允许开发者快速创建用户界面,让用户能够与模型进行交互,进行测试和展示。

Exo人工智能集群项目源码分析

Exo 是一个高性能的分布式推理引擎,旨在支持跨平台的模型推理与分布式计算。项目包含核心推理引擎、节点发现服务、拓扑管理与 API 接口,支持 MLX、TinyGrad 等多种推理后端。目录结构清晰,涵盖核心代码、示例应用、文档与测试模块,适用于高并发和大规模模型部署场景。

EXO分布式引擎新增QwQ-32B-Preview模型

Exo 是一个基于 MLX 的分布式大语言模型推理框架,专为 Apple Silicon 芯片优化。它支持模型分层加载,提供类 ChatGPT API 接口,可通过简单的配置实现模型部署和调用。主要特点是支持流式输出,并针对有限内存环境下的大模型运行进行了优化。

Exo:突破单机限制的分布式AI集群解决方案

Exo 是一款分布式AI集群解决方案,通过将大型AI模型拆分到多台设备上运行,突破单机限制,提升推理性能。它支持自动设备发现、智能任务分配、动态弹性扩展和故障恢复,提供与ChatGPT API兼容的接口,简化部署和集成流程,是一款高效、灵活的AI推理工具。

构建基于Qwen2.5-72B-Instruct的RAG问答AGENT智能研究助手

本实验展示了如何通过 LlamaIndex 构建一个基于 Qwen 模型的智能研究助手。该系统在多文档处理、动态工具选择和复杂推理方面表现出色,为研究者提供了高效的辅助工具。在未来的研究中,我们可以扩展文档集或优化工具选择策略,进一步提升系统的性能。

Building Agentic RAG with Llamaindex

系统梳理了如何构建代理增强检索生成(RAG)系统,从简单的路由代理到工具调用,以及支持多文档推理的高级代理开发。介绍了索引构建、查询引擎配置、函数调用代理及多步骤推理的方法,能够实现复杂问题的自动化解决。通过结合多个工具与文档,掌握了如何构建强大的上下文增强研究系统,适用于多领域的高级应用。