GPT 가 자동운전에 부딪히면, 밀리초가 드라이브 GPT 를 시작합니다

GPT 자동 운전이란 무엇을 의미합니까? < P > 문지운전망 황화단

ChatGPT 에 불이 붙었다면 GPT 가 자동운전에 부딪히면 어떤 화학반응이 일어날까요?

GPT 전체 이름은 generative pre-trained Transformer, 즉 생성된 사전 교육 transformer 입니다. 간단한 요약은 인터넷에서 사용할 수 있는 데이터 교육을 기반으로 한 텍스트 생성 심도 있는 학습 모델입니다.

4 월 11 일 제 8 회 밀리말 AI? DAY 에서 밀리말 CEO 구비세는 GPT 기술을 기반으로 한 DriveGPT 를 공식 발표했습니다. 중국어명 설호 해약입니다.

DriveGPT 는 무엇을 할 수 있습니까? 어떻게 만들어졌을까요? 구 웨이는 AI 에 있습니까? 데이는 모두 상세히 해석했다. 그리고 AI? DAY 는 또한 밀리말 자동 운전 데이터 시스템인 MANA 의 업그레이드를 보여 주었는데, 주로 시각적 인식 능력에 있어서의 발전이다.

1.

DriveGPT 란 무엇입니까? 무엇을 이룰 수 있을까? < P > 구 Weibao 는 먼저 GPT 의 원리를 설명했습니다. 생성 된 사전 훈련 Transformer 모델은 본질적으로 다음 단어의 발생 확률을 해결하는 것입니다. 각 호출은 확률 분포에서 샘플링되고 단어를 생성하므로 지속적으로 순환할 수 있습니다. 다양한 다운스트림 작업에 사용할 수 있는 일련의 문자를 생성할 수 있습니다. < P > 중국어 자연어를 예로 들면 단어나 단어는 토켄이고, 중국어의 토켄 어휘는 5 만개 정도다. Token 을 모델에 입력하면 출력은 다음 단어의 확률입니다. 이 확률 분포는 언어의 지식과 논리를 반영합니다. 큰 모델은 다음 단어를 출력할 때 언어 지식과 논리를 근거로 추리한 결과입니다. 마치 탐정소설의 복잡한 단서를 근거로 살인자가 누구인지 추리하는 것과 같다. < P > 대신 자동운전 훈련을 위한 대형 모델로, DriveGPT 설호 해약세 가지 기능:

1. 확률에 따라 이런 장면 시퀀스를 여러 개 생성할 수 있습니다. 각 장면은 글로벌 장면이며 각 장면 시퀀스는 앞으로 발생할 수 있는 실제 상황입니다.

2. 모든 장면 시퀀스가 생성되는 경우 장면에서 가장 관심 있는 자전거 동작 트랙을 수량화할 수 있습니다. 즉, 장면이 생성될 때 자동차의 미래 궤적 정보가 생성됩니다.

3. 이 궤적을 통해 DriveGPT 설호 해약도 장면 시퀀스, 궤적을 생성하면서 전체 의사 결정 논리 체인을 출력할 수 있습니다. < P > 즉, DriveGPT 설호 하이로를 사용하면 하나의 통합적인 프레임 워크에서 계획, 의사 결정, 추리 등 여러 가지 작업을 모두 수행할 수 있습니다. < P > 구체적으로, Drive 설호 하이로는 장면 토켄화를, 말끝을' 드라이브' 라고 부르도록 설계되었나요? Language.

Drive Language 는 운전 공간을 이산화하며 각 토큰은 장면의 작은 부분을 나타냅니다. 현재 밀리말에는 약 5 만 개의 토켄 어휘 공간이 있다. 과거에 이미 발생한 일련의 장면 토큰 시퀀스를 입력하면 모델은 내역을 기준으로 향후 가능한 모든 장면을 생성할 수 있습니다. < P > 즉, DriveGPT 설호 해약도 마찬가지로 추리기계처럼 과거에 무슨 일이 일어났는지 알려주면 확률에 따라 미래의 여러 가능성을 추리할 수 있다. < P > 일련의 Token 은 향후 어느 시점에 전체 교통 환경의 상태와 자가용 상태를 포함하는 완전한 운전 장면 시계열입니다.

드라이브 있어요? Language, DriveGPT 를 훈련시킬 수 있습니다. < P > 밀리말 드라이브 GPT 에 대한 훈련 과정은 먼저 운전 데이터와 이전에 정의된 운전 시도에 따라 대규모 사전 훈련을 시도하는 것이다. < P > 그런 다음 사용 중 인계되거나 인계되지 않는 시나리오를 통해 사전 훈련 결과를 평가하고 정렬하여 피드백 모델을 훈련시킵니다. 잘못된 자동운전법 대신 올바른 인간 개법을 이용하는 것이다. < P > 후속은 학습 강화라는 생각으로 반복 모델을 지속적으로 최적화하는 것이다. < P > 사전 훈련 모델에서 밀리초가 Decode-only 구조를 사용하는 GPT 모델로, 각 Token 은 장애물 상태, 자전거 상태, 차선 상태 등을 포함한 특정 시점의 장면 상태를 설명합니다. < P > 현재, 1,2 억 개의 매개변수가 있는 1,2 억 개의 매개변수가 있으며, 4 만 양산차의 운전 데이터를 사용하면 그 자체로 다양한 시나리오에 대해 생성적인 작업을 할 수 있다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 스포츠명언) < P > 이러한 생성 결과는 인간의 선호도에 따라 조정되어 안전, 효율성, 편안함 등의 차원에서 절충됩니다. 한편, 밀리초는 선별된 인간 인수 데이터의 일부를 사용하여 피드백 모델 훈련을 위해 약 5, 개의 Clips 를 사용하여 사전 훈련 모델을 지속적으로 최적화할 것입니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 스포츠명언) < P > 의사 결정 논리 체인을 출력할 때, DriveGPT 설호 하이는 prompt 힌트 기술을 이용했다. 모델에 대한 프롬프트를 입력하여 "어디로, 천천히 또는 더 빨리, 그리고 단계적으로 추리하게 하라" 는 힌트를 제공합니다. 이 힌트를 통해 원하는 방향으로 결과를 생성하며 각 결과에는 의사 결정 논리 체인이 있습니다. 각 결과에도 미래에 나타날 가능성이 있다. 이렇게 하면 미래에 나타날 가능성이 가장 높고 논리적인 체인 운전 전략을 선택할 수 있다. < P > 은 (는) DriveGPT 설호 하이로의 추리 능력을 이미지의 예로 설명할 수 있다. 모델을 "목표점에 도달한다" 는 힌트를 제시한다고 가정하면, DriveGPT 설호 하이는 가능한 많은 개법법, 급진, 연속 변도로 추월, 목표점에 빠르게 도달하고, 점잖고, 차와 종점까지 주행한다. 이때 힌트에 추가 지시가 없다면, DriveGPT 설호 하이는 피드백 훈련 때의 조정 효과에 따라 결국 대부분의 운전자 운전 선호도에 더 잘 맞는 효과를 줄 것이다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 스포츠명언)

2.

DriveGPT 밀리초를 달성하기 위해 무엇을 했습니까? < P > 우선, DriveGPT 설호 하이로의 훈련과 착지는 계산력의 지원과 불가분의 관계에 있다. < P > 는 지난 1 월 말부터 화산엔진 * * * * 과 함께 자체 건설지능계산센터, 말설호 오아시스 마나오스를 발표했다. OASIS 의 계산력은 최고 67 억 회/초, 스토리지 대역폭 2T/ 초, 통신 대역폭은 8G/ 초입니다. < P > 물론 계산력만으로는 충분하지 않으며 훈련과 추리 프레임워크의 지원이 필요하다. 이에 따라 밀리말에도 다음과 같은 세 가지 업그레이드가 이루어졌다.

첫째, 훈련 안정성의 보장과 업그레이드.

대형 모델 교육은 데이터 규모, 클러스터 규모, 교육 시간이 늘어남에 따라 시스템 안정성에 대한 작은 문제도 무한히 커질 수 있는 매우 어려운 작업이다. 처리하지 않으면 교육 임무가 자주 잘못되어 비정상적인 중단을 초래하고 초기에 투입된 많은 자원을 낭비하게 된다. < P > 밀리말 대형 모델 훈련 프레임워크를 바탕으로 화산엔진 * * * 과 함께 훈련 보장 프레임워크를 구축하고, 훈련 보장 프레임워크를 통해 밀리말 이상 임무 분급 캡처 및 복원력을 실현하며, 천카 임무가 몇 개월 동안 비정상적인 중단 없이 계속 훈련할 수 있도록 하며, DriveGPT 설호 해약대 모델 훈련의 안정성을 효과적으로 보장해 줍니다. (주:,,,,,,,,,,,,,,,,,,,,)

둘째, 유연한 스케줄링 자원의 업그레이드. < P > 은 (는) 대량 생산 차량이 가져온 방대한 양의 실제 데이터를 보유하고 있으며, 리턴 데이터를 사용하여 현실 세계를 지속적으로 학습할 수 있습니다. 매일 기간마다 반환되는 데이터의 양이 크게 다르기 때문에 유연한 스케줄링 기능과 가변 데이터 크기 조정이 필요한 교육 플랫폼이 필요합니다. < P > 말단은 증분 학습 기술을 대형 모델 교육으로 확대하고, 대형 모델 지속적인 학습 시스템을 구축하고, 태스크 레벨 유연한 확장 스케줄러, 분 단위 일정 자원, 클러스터 컴퓨팅 자원 활용률이 95% 에 달했다.

셋째, 처리량 효율성 업그레이드. < P > 교육 효율성에서, Transformer 의 대형 매트릭스 컴퓨팅에서는 내부 및 외부 루프의 데이터를 분할하고 SRAM 에서 가능한 한 데이터를 유지하여 컴퓨팅 효율성을 높입니다. 전통적인 교육 프레임워크에서 산자 프로세스는 매우 길어서, 말단은 화산 엔진이 제공하는 Lego 계산 라이브러리를 도입하여 산자 융합을 실현하여 엔드 투 엔드 처리량을 84% 높였다. < P > 계산력과 이 세 가지 방면의 업그레이드를 통해 드라이버 GPT 설호 해약에게 더 나은 훈련 반복 업그레이드를 할 수 있다. (윌리엄 셰익스피어, 크리프, Northern Exposure (미국 TV 드라마), 스포츠명언)

3.

MANA 업그레이드, 초음파 레이더

밀리 말 대신 카메라 221 년 12 월 제 4 회 AI? DAY 에 자동운전 데이터 지능 시스템 MANA 를 발표했고, 1 년여의 응용 반복을 거쳐 현재 MANA 는 전면적인 업그레이드를 맞이하고 있다.

구 웨이에 따르면 이번 업그레이드에는 주로

1. 인식 및 인식 관련 대형 모델 기능이 DriveGPT 에 통합 통합되어 있습니다.

2. 컴퓨팅 기반 서비스는 대규모 모델 교육을 위해 매개변수 크기, 안정성 및 효율성에 맞게 특별히 최적화되었으며 OASIS 에 통합됩니다.

3. NeRF 기술을 사용하는 데이터 합성 서비스가 추가되어 Corner Case 데이터 취득 비용이 절감됩니다.

4. 다양한 칩 및 다양한 모델의 신속한 제공 과제에 대해 이기종 배포 도구 및 차량 적응 도구를 최적화합니다. < P > 앞서 DriveGPT 에 대해 자세히 설명했습니다. 다음은 주로 MANA 의 시각적 인식 진행 상황을 살펴보도록 하겠습니다. < P > 구 웨이 (Gu Weibao) 는 시각적 인식 작업의 핵심 목적은 실제 동적 정적 정보 및 텍스처 분포를 복원하는 것이라고 말했다. 따라서 시각적 자체 감독 대형 모델에 대한 아키텍처 업그레이드를 통해 예측 환경의 3 차원 구조, 속도 필드 및 텍스처 분포를 하나의 교육 목표에 통합하여 다양한 특정 작업에 침착하게 대처할 수 있습니다. 현재 밀리말 시각 자체 감독 대형 모델의 데이터 세트가 4 만 Clips 를 넘어 인식 성능이 2% 향상되었습니다. < P > 주차 장면에서는 나노끝이 어안 카메라 순수 시각거리로 주차 요구 사항을 충족해 15 미터 범위 내에서 측정 정확도 3cm, 2 미터 내 정확도가 1cm 를 넘을 수 있다. (알버트 아인슈타인, Northern Exposure (미국 TV 드라마), 스포츠명언) 초음파 레이더 대신 순수 시각으로 전체 방안의 비용을 더욱 낮추다. < P > 또한 순수 시각적 3D 재구성의 경우 시각적 자체 감독 대형 모델 기술을 통해 레이저 레이더에 의존하지 않고 수집한 대량 생산 반환 비디오를 BEV 모델 교육에 사용할 수 있는 3D 치수가 있는 실제 데이터로 변환할 수 있습니다. < P > NeRF 에 대한 업그레이드를 통해 1

보다 작은 재건 오차를 만들 수 있다는 것을 의미합니다. 이 글은 이차번호 작가 지운전망에서 나온 것으로 저작권은 저자가 소유하고 있습니다. 어떤 형태로든 전재해 주시기 바랍니다. 내용은 대표작자의 관점일 뿐, 이차와는 무관하다