坚信服一朵云面向AI进级：承载DeepSeek，支撑深度

作者: [db:作者]   点击次数:    发布时间: 2025-02-19 08:34

【TechWeb】2月17日新闻，克日，坚信服一朵云面向AI停止全新进级，为用户打造更婚配年夜模子场景的智算承载、利用构建的AI平台，面向用户基于DeepSeek承载跟利用的场景，供给一键安排、机能更优、疾速开辟利用的最佳实际计划。总的来说，坚信服一朵云面进级包括三个方面：1、 线下基本设备从传统营业承载平台向智算承载平台进级，普遍适配包含DeepSeek在内的最新年夜模子。坚信服现已打造「HCI+AICP新一代超融会」处理计划，只要在原集群基本上增添一台GPU节点，就能基于当地集群疾速安排并承载DeepSeek在内的企业级年夜模子。除了支撑英伟达GPU，坚信服AICP算力平台跟多家国产厂商发展了普遍的软硬件兼容测试，可适配天数智芯、昇腾、海光、沐曦、燧原等多款国产卡，为用户实现算力异构治理。2、 线上托管云上线全新AI效劳目次，供给DeepSeek等企业级年夜模子效劳，用户可经由过程订阅来疾速获取AI才能。坚信服托管云已支撑基于专属资本+AICP的方法，为用户供给专属的企业级年夜模子效劳，可满意用户对线上安排专属效劳模子的需要。坚信服会连续丰盛线上效劳目次，用户能够很轻易地经由过程订阅的方法，疾速腻滑地获取AI才能，如DeepSeek等模子效劳。3、 全新宣布AI利用翻新平台，助力用户疾速构建年夜模子利用，让AI利用的开辟跟经营变得更简略。坚信服AI利用翻新平台内置RAG最佳实际流程，支撑智能分片与直连企业自有常识库。用户仅需经由过程简略操纵，即可构建高品质的RAG利用。坚信服AI利用翻新平台支撑基于营业评测数据集的利用后果评价，并主动天生优化倡议，用户无需懂得庞杂技巧细节，即可实现设置优化，实现后果晋升。据先容，向AI进级后，坚信服片面优化推感性能，让跑在一朵云上的年夜模子利用能够实现推感性能的年夜幅晋升，下降年夜模子团体应用本钱。比拟基于团体开辟者常用的Ollama计划安排DeepSeek，坚信服经由过程AICP算力平台的安排计划在多实例、并发推理场景中可实现5-10倍的机能晋升。年夜模子并发度更高、吞吐量更年夜、推理呼应延时更低，让用户在企业级AI利用构建及现实应用时，资本投入更低、休会更优。4卡4090运转DeepSeek-32B模子，模仿64并发场景，做问答测试以32B模子为例，一样平常问答场景（2k高低文），AICP并发是Ollama的8~10倍，总吞吐10倍以上。硬件资本：INT4用2*4090，FP16用4*4090常识库利用场景（4k高低文），AICP并发是Ollama的2倍，总吞吐4~8倍。硬件资本：INT4用2*4090，FP16用4*4090