Flex Logix為邊緣AI啟動(dòng)推理協(xié)處理器

Flex Logix Technologies公司透露，它已開(kāi)發(fā)出一種用于邊緣AI處理的新型協(xié)處理器：InferX X1。新芯片基于嵌入式現(xiàn)場(chǎng)可編程門陣列(eFPGA)芯片設(shè)計(jì)的專利互連技術(shù)。它將eFPGA技術(shù)與推理優(yōu)化的nnMAX集群結(jié)合在新的組合芯片中。

總部位于加利福尼亞州山景城的公司表示，其第一個(gè)芯片設(shè)計(jì)(超出其通常的芯片技術(shù)許可業(yè)務(wù))將以相當(dāng)于競(jìng)爭(zhēng)對(duì)手的功率和成本的一小部分提供接近數(shù)據(jù)中心的吞吐量。Flex Logix聲稱它提供的吞吐量是現(xiàn)有推理邊緣芯片的10倍。

新芯片可能會(huì)用于邊緣網(wǎng)關(guān)，低端服務(wù)器，機(jī)器人和其他高性能邊緣設(shè)備。Flex Logix在加利福尼亞州圣克拉拉的Linley處理器大會(huì)上發(fā)布了該芯片。

Flex Logix InferX X1芯片通過(guò)單個(gè)DRAM(動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器芯片)在邊緣應(yīng)用中提供高吞吐量。該公司聲稱每瓦特的吞吐量比現(xiàn)有解決方案高得多，芯片的性能優(yōu)勢(shì)在低批量生產(chǎn)時(shí)尤為強(qiáng)勁，這在通常只有一個(gè)攝像頭或傳感器的邊緣應(yīng)用中是必需的。

InferX X1在小批量產(chǎn)品上的性能接近數(shù)據(jù)中心推理板，并針對(duì)每個(gè)圖像需要數(shù)千億次操作的大型模型進(jìn)行了優(yōu)化。例如，對(duì)于YOLOv3實(shí)時(shí)對(duì)象識(shí)別，InferX X1以批量大小= 1處理12.7幀/秒的200萬(wàn)像素圖像。性能與圖像大小大致呈線性關(guān)系，因此對(duì)于100萬(wàn)像素圖像，幀速率大約翻倍。這是一個(gè)單一的DRAM。

InferX X1將作為邊緣設(shè)備的芯片和邊緣服務(wù)器和網(wǎng)關(guān)的半高半長(zhǎng)PCIe卡提供。它使用nnMAX編譯器進(jìn)行編程，該編譯器采用Tensorflow Lite或ONNX型號(hào)。推理引擎的內(nèi)部體系結(jié)構(gòu)對(duì)用戶是隱藏的。

“神經(jīng)網(wǎng)絡(luò)推理中的艱巨挑戰(zhàn)是最大限度地減少數(shù)據(jù)移動(dòng)和能耗，這是我們的互連技術(shù)可以做得非常好的事情，”Flex Logix首席執(zhí)行官Geoff Tate在一份聲明中表示。“在處理層時(shí)，使用我們的可重配置互連為整個(gè)階段配置數(shù)據(jù)路徑，使InferX像[自定義芯片]一樣運(yùn)行，然后快速重新配置下一層。由于我們的大部分帶寬來(lái)自本地SRAM，InferX

只需要一個(gè)DRAM，簡(jiǎn)化了芯片和封裝，并降低了成本和功耗。“

添加了Tate，“我們的片上Winograd轉(zhuǎn)換進(jìn)一步減少了因重量加載帶寬，因?yàn)閃inograd格式的權(quán)重是1.8倍。我們的混合數(shù)字功能使客戶能夠在實(shí)際使用整數(shù)8，但可以根據(jù)需要回退到浮點(diǎn)，以實(shí)現(xiàn)所需的預(yù)測(cè)精度。這些功能組合可實(shí)現(xiàn)高預(yù)測(cè)精度，高吞吐量，低成本和低功耗邊緣推斷。“

nnMAX目前正在開(kāi)發(fā)中，將于2019年第三季度在SoC中集成.InferX X1將在2019年第三季度完成其設(shè)計(jì)，芯片和PCIe板樣品將在不久后推出。Tate于2014年共同創(chuàng)建了Flex Logix，迄今為止該公司已籌集了超過(guò)2500萬(wàn)美元。