動態shape【免費下載鏈接】geGEGraph Engine是面向昇騰的圖編譯器和執行器提供了計算圖優化、多流并行、內存復用和模型下沉等技術手段加速模型執行效率減少模型內存占用。 GE 提供對 PyTorch、TensorFlow 前端的友好接入能力并同時支持 onnx、pb 等主流模型格式的解析與編譯。項目地址: https://gitcode.com/cann/geac_parallel_enable動態shape圖中是否允許AI CPU算子和AI Core算子并行運行。動態shape圖中開關開啟時系統自動識別圖中可以和AI Core并發的AI CPU算子不同引擎的算子下發到不同流上實現多引擎間的并行從而提升資源利用效率和動態shape執行性能。參數取值1允許AI CPU和AI Core算子間的并行運行。0默認值AI CPU算子不會單獨分流。配置示例{ac_parallel_enable, 1};必選/可選可選生效級別全局ge.dynamicDims設置ND格式下動態維度的檔位適用于執行推理時每次處理任意維度的場景。該參數需要與ge.inputShape配合使用。詳細使用示例請參見編譯并運行Graph場景。**參數取值**通過dim1,dim2,dim3;dim4,dim5,dim6;dim7,dim8,dim9的形式設置。參數值格式所有檔位必須放在雙引號中檔位之間使用英文分號分隔每檔內參數使用英文逗號分隔每檔中的dim值與ge.inputShape參數中的-1標識的參數依次對應inputShape參數中有幾個-1則每檔必須設置幾個維度。并且要求檔位信息必須大于1組。參數值約束針對Ascend 950PR/Ascend 950DT檔位數約束為檔位數取值范圍為(1, 256]即必須設置至少2個檔位最多支持256檔配置建議配置為3~4檔。針對如下產品檔位數約束為檔位數取值范圍為(1,100]即必須設置至少2個檔位最多支持100檔配置建議配置為3~4檔。Atlas A3 訓練系列產品/Atlas A3 推理系列產品Atlas A2 訓練系列產品/Atlas A2 推理系列產品Atlas 訓練系列產品Atlas 推理系列產品使用示例若模型只有一個輸入{ge.inputShape, data:1,-1,-1}, {ge.dynamicDims, 1,2;3,4;5,6;7,8} // graph運行時支持的data算子的shape為1,1,2; 1,3,4; 1,5,6; 1,7,8若網絡模型有多個輸入每檔中的dim值與模型輸入參數中的-1標識的參數依次對應模型輸入參數中有幾個-1則每檔必須設置幾個維度。例如網絡模型有三個輸入分別為data(1,1,40,T)label(1,T)mask(T,T) 其中T為動態可變。則配置示例為{ge.inputShape, data:1,1,40,-1;label:1,-1;mask:-1,-1 }, {ge.dynamicDims, 20,20,1,1;40,40,2,2;80,60,4,4} // graph運行時支持的輸入dims組合檔數分別為 //第0檔data(1,1,40,20)label(1,20)mask(1,1) //第1檔data(1,1,40,40)label(1,40)mask(2,2) //第2檔data(1,1,40,80)label(1,60)mask(4,4)必選/可選可選生效級別session/graphge.dynamicNodeType用于指定動態輸入的節點類型。0dataset輸入為動態輸入。1placeholder輸入為動態輸入。當前不支持dataset和placeholder輸入同時為動態輸入。配置示例{ge.dynamicNodeType, 0};必選/可選可選生效級別session/graphge.exec.hostSchedulingMaxThreshold控制**靜態小圖根圖**執行時是否走動態shape調度的最大閾值。默認閾值為0。建議大模型場景使用。如果靜態根圖節點的個數最大閾值則走動態shape調度。大模型場景該方式可以節約Stream資源。如果靜態根圖節點的個數最大閾值則保持原有流程不變。說明如果靜態根圖節點包括子圖則該參數不生效。必選/可選可選生效級別全局/session/graphge.exec.static_model_ops_lower_limit動態shape拆分中設置靜態子圖最小算子數量閾值。參數取值取值范圍為-1到正無窮取其他值報錯默認值為4。取值0算子數門限靜態子圖不單獨拆圖合并到動態圖走動態執行。算子數門限保持原有流程不變靜態子圖仍舊會拆圖。取值-1表示所有算子走動態圖執行。例如假設靜態子圖中算子數為4通過該參數配置的門限為10則靜態子圖不會單獨拆圖走動態圖執行。必選/可選可選生效級別graphge.inputShape指定模型輸入數據的shape。在線推理或訓練場景下該參數僅在動態分檔場景動態維度下為必選配置在非動態分檔場景下單獨配置此選項不生效。動態分檔場景原始模型中輸入數據的某個或某些維度值不固定當前支持通過設置shape分檔方式轉換模型。參數取值模型為非固定shape設置ge.inputShape參數時將對應維度值設置為-1需要同時配合ge.dynamicDims設置動態維度檔位參數、ge.dynamicNodeType指定動態輸入的節點類型參數一起使用。模型shape為標量動態分檔如果模型輸入中既有標量shape又有支持動態分檔的shape則標量輸入不能忽略必須配置。例如模型有三個輸入分別為A:[-1,c1,h1,w1]、B:[]、C:[n2,c2,h2,w2]則shape信息為A:-1,c1,h1,w1;B:;C:n2,c2,h2,w2標量輸入B必須配置。配置示例非固定shape設置指定維度檔位的示例請參見ge.dynamicDims。shape為標量動態分檔shape為標量的輸入必須配置。例如模型有三個輸入shape信息分別為A:[-1,32,208,208]、B:[]、C:[16,64,208,208]則配置示例為A為動態分檔輸入此處以設置動態維度檔位為例{ge.inputShape, A:-1,32,208,208;B:;C:16,64,208,208}, {ge.dynamicDims, 1;2;4}必選/可選可選生效級別session/graph【免費下載鏈接】geGEGraph Engine是面向昇騰的圖編譯器和執行器提供了計算圖優化、多流并行、內存復用和模型下沉等技術手段加速模型執行效率減少模型內存占用。 GE 提供對 PyTorch、TensorFlow 前端的友好接入能力并同時支持 onnx、pb 等主流模型格式的解析與編譯。項目地址: https://gitcode.com/cann/ge創作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 CANN/GE動態shape配置參數
動態shape【免費下載鏈接】geGEGraph Engine是面向昇騰的圖編譯器和執行器提供了計算圖優化、多流并行、內存復用和模型下沉等技術手段加速模型執行效率減少模型內存占用。 GE 提供對 PyTorch、TensorFlow 前端的友好接入能力并同時支持 onnx、pb 等主流模型格式的解析與編譯。項目地址: https://gitcode.com/cann/geac_parallel_enable動態shape圖中是否允許AI CPU算子和AI Core算子并行運行。動態shape圖中開關開啟時系統自動識別圖中可以和AI Core并發的AI CPU算子不同引擎的算子下發到不同流上實現多引擎間的并行從而提升資源利用效率和動態shape執行性能。參數取值1允許AI CPU和AI Core算子間的并行運行。0默認值AI CPU算子不會單獨分流。配置示例{ac_parallel_enable, 1};必選/可選可選生效級別全局ge.dynamicDims設置ND格式下動態維度的檔位適用于執行推理時每次處理任意維度的場景。該參數需要與ge.inputShape配合使用。詳細使用示例請參見編譯并運行Graph場景。**參數取值**通過dim1,dim2,dim3;dim4,dim5,dim6;dim7,dim8,dim9的形式設置。參數值格式所有檔位必須放在雙引號中檔位之間使用英文分號分隔每檔內參數使用英文逗號分隔每檔中的dim值與ge.inputShape參數中的-1標識的參數依次對應inputShape參數中有幾個-1則每檔必須設置幾個維度。并且要求檔位信息必須大于1組。參數值約束針對Ascend 950PR/Ascend 950DT檔位數約束為檔位數取值范圍為(1, 256]即必須設置至少2個檔位最多支持256檔配置建議配置為3~4檔。針對如下產品檔位數約束為檔位數取值范圍為(1,100]即必須設置至少2個檔位最多支持100檔配置建議配置為3~4檔。Atlas A3 訓練系列產品/Atlas A3 推理系列產品Atlas A2 訓練系列產品/Atlas A2 推理系列產品Atlas 訓練系列產品Atlas 推理系列產品使用示例若模型只有一個輸入{ge.inputShape, data:1,-1,-1}, {ge.dynamicDims, 1,2;3,4;5,6;7,8} // graph運行時支持的data算子的shape為1,1,2; 1,3,4; 1,5,6; 1,7,8若網絡模型有多個輸入每檔中的dim值與模型輸入參數中的-1標識的參數依次對應模型輸入參數中有幾個-1則每檔必須設置幾個維度。例如網絡模型有三個輸入分別為data(1,1,40,T)label(1,T)mask(T,T) 其中T為動態可變。則配置示例為{ge.inputShape, data:1,1,40,-1;label:1,-1;mask:-1,-1 }, {ge.dynamicDims, 20,20,1,1;40,40,2,2;80,60,4,4} // graph運行時支持的輸入dims組合檔數分別為 //第0檔data(1,1,40,20)label(1,20)mask(1,1) //第1檔data(1,1,40,40)label(1,40)mask(2,2) //第2檔data(1,1,40,80)label(1,60)mask(4,4)必選/可選可選生效級別session/graphge.dynamicNodeType用于指定動態輸入的節點類型。0dataset輸入為動態輸入。1placeholder輸入為動態輸入。當前不支持dataset和placeholder輸入同時為動態輸入。配置示例{ge.dynamicNodeType, 0};必選/可選可選生效級別session/graphge.exec.hostSchedulingMaxThreshold控制**靜態小圖根圖**執行時是否走動態shape調度的最大閾值。默認閾值為0。建議大模型場景使用。如果靜態根圖節點的個數最大閾值則走動態shape調度。大模型場景該方式可以節約Stream資源。如果靜態根圖節點的個數最大閾值則保持原有流程不變。說明如果靜態根圖節點包括子圖則該參數不生效。必選/可選可選生效級別全局/session/graphge.exec.static_model_ops_lower_limit動態shape拆分中設置靜態子圖最小算子數量閾值。參數取值取值范圍為-1到正無窮取其他值報錯默認值為4。取值0算子數門限靜態子圖不單獨拆圖合并到動態圖走動態執行。算子數門限保持原有流程不變靜態子圖仍舊會拆圖。取值-1表示所有算子走動態圖執行。例如假設靜態子圖中算子數為4通過該參數配置的門限為10則靜態子圖不會單獨拆圖走動態圖執行。必選/可選可選生效級別graphge.inputShape指定模型輸入數據的shape。在線推理或訓練場景下該參數僅在動態分檔場景動態維度下為必選配置在非動態分檔場景下單獨配置此選項不生效。動態分檔場景原始模型中輸入數據的某個或某些維度值不固定當前支持通過設置shape分檔方式轉換模型。參數取值模型為非固定shape設置ge.inputShape參數時將對應維度值設置為-1需要同時配合ge.dynamicDims設置動態維度檔位參數、ge.dynamicNodeType指定動態輸入的節點類型參數一起使用。模型shape為標量動態分檔如果模型輸入中既有標量shape又有支持動態分檔的shape則標量輸入不能忽略必須配置。例如模型有三個輸入分別為A:[-1,c1,h1,w1]、B:[]、C:[n2,c2,h2,w2]則shape信息為A:-1,c1,h1,w1;B:;C:n2,c2,h2,w2標量輸入B必須配置。配置示例非固定shape設置指定維度檔位的示例請參見ge.dynamicDims。shape為標量動態分檔shape為標量的輸入必須配置。例如模型有三個輸入shape信息分別為A:[-1,32,208,208]、B:[]、C:[16,64,208,208]則配置示例為A為動態分檔輸入此處以設置動態維度檔位為例{ge.inputShape, A:-1,32,208,208;B:;C:16,64,208,208}, {ge.dynamicDims, 1;2;4}必選/可選可選生效級別session/graph【免費下載鏈接】geGEGraph Engine是面向昇騰的圖編譯器和執行器提供了計算圖優化、多流并行、內存復用和模型下沉等技術手段加速模型執行效率減少模型內存占用。 GE 提供對 PyTorch、TensorFlow 前端的友好接入能力并同時支持 onnx、pb 等主流模型格式的解析與編譯。項目地址: https://gitcode.com/cann/ge創作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考