搜索
Ollama发布自研多模态AI引擎，本地推理性能实现大幅提升
1 天前
Ollama公司宣布成功研发出独立于llama.cpp框架的多模态AI定制引擎。该引擎采用golang开发，显著提升了本地推理精度和大型图像处理能力。通过整合图像处理元数据、KVCache优化及图像缓存功能，新引擎在内存管理和资源利用上取得突破。此外，它还支持分块注意力和2D旋转嵌入技术，能高效处理Llama 4 Scout等复杂模型。
