国产精品国产亚洲精品看不卡,亚洲成av人影院,久久99亚洲综合精品首页,国产一级理论免费版,欧美色婷婷,久久综合一个色综合网,欧美性色黄在线视

1.研發(fā)分布式訓(xùn)練加速方案，優(yōu)化并行策略方案例如：DP/TP/PP/MP/CP，提升千億參數(shù)模型訓(xùn)練吞吐量；

2.設(shè)計(jì)混合精度訓(xùn)練與顯存優(yōu)化方案，開(kāi)發(fā)自適應(yīng)梯度壓縮、通信優(yōu)化模塊，實(shí)現(xiàn)單卡訓(xùn)練模型規(guī)模提升和降低分布式訓(xùn)練通信開(kāi)銷；

3.開(kāi)發(fā)量化壓縮工具鏈（支持GPTQ/AWQ等算法），實(shí)現(xiàn)模型8/4-bit無(wú)損量化部署；

4.設(shè)計(jì)多GPU推理調(diào)度策略，優(yōu)化顯存碎片管理與計(jì)算資源利用率；

5.跟進(jìn)vLLM/TensorRT-LLM/SGLang等前沿框架，探索MoE架構(gòu)/稀疏化訓(xùn)練等新型范式，將最新學(xué)術(shù)成果快速落地到工程實(shí)踐。

職位要求：

1.計(jì)算機(jī)相關(guān)專業(yè)碩士及以上學(xué)歷，3 年LLM系統(tǒng)優(yōu)化經(jīng)驗(yàn)；

2.精通PyTorch/TensorFlow框架底層機(jī)制，具備CUDA/C 內(nèi)核開(kāi)發(fā)能力；

3.掌握Megatron-LM/DeepSpeed/HuggingFace生態(tài)核心原理；

4.有千億參數(shù)模型訓(xùn)練優(yōu)化或百萬(wàn)QPS推理服務(wù)落地經(jīng)驗(yàn)者優(yōu)先；

5.熟悉NVIDIA GPU架構(gòu)與性能分析工具；

6.熟悉大模型推理服務(wù)架構(gòu)設(shè)計(jì)與微服務(wù)化部署。