Presentación preliminar de Tencent Hy4: Contexto de 1M, programación y guía de API

Tencent Hy4 Preview es un modelo de código abierto de tipo Mixture-of-Experts diseñado para el razonamiento de contexto largo, el desarrollo de software, la investigación y los flujos de trabajo de agentes. Su arquitectura base de 770.000 millones de parámetros activa 49.000 millones de parámetros por token y soporta una ventana de contexto de hasta un millón de tokens.

Estas especificaciones hacen que Hy4 Preview sea idóneo para la programación a escala de repositorio, el análisis de múltiples archivos, el uso extendido de herramientas y grandes colecciones de documentos. Sin embargo, la etiqueta «Preview» (Vista previa) es importante: Tencent señala el exceso de razonamiento y la verificación propia innecesaria como limitaciones conocidas. Los equipos deben evaluar el modelo en tareas representativas antes de utilizarlo en entornos de producción.

¿Qué es Tencent Hy4 Preview?

Hy4 Preview es un modelo de generación de texto desarrollado por el equipo de Tencent Hy. Utiliza una arquitectura MoE dispersa para combinar un recuento de parámetros totales muy grande con una huella de cómputo activa más pequeña para cada token generado.

Tencent ha lanzado tanto el checkpoint estándar de Hy4 Preview como una versión FP8 bajo la Licencia Apache 2.0. El modelo se puede autohospedar mediante frameworks de inferencia compatibles como vLLM y SGLang. Su ficha de modelo oficial de Hy4 Preview incluye los pesos del modelo, instrucciones de despliegue, configuraciones de generación recomendadas y limitaciones conocidas.

Especificaciones clave de Hy4 Preview

Las cifras de 770B de parámetros totales y 49B de parámetros activados corresponden a la base. La capa nativa adicional de predicción multitoken (Multi-Token Prediction, MTP) contiene 10B de parámetros, lo que eleva la arquitectura completa a aproximadamente 780B de parámetros.

Parámetros totales frente a activados

Los parámetros totales describen la capacidad total almacenada en el modelo. Los parámetros activados indican cuánta de esa capacidad participa en el procesamiento de cada token.

Hy4 Preview contiene 256 expertos enrutados y un experto compartido en cada una de sus 77 capas MoE. Para cada token, el modelo selecciona ocho expertos enrutados a la vez que utiliza el experto compartido. Este enrutamiento permite al modelo mantener una amplia especialización sin tener que calcular los 770B de parámetros de la base para cada token.

La cifra de 49B de parámetros activos no debe interpretarse como el tamaño de despliegue del modelo. El alojamiento sigue requiriendo el almacenamiento del checkpoint completo, junto con la memoria para la caché de claves-valores (KV cache), operaciones de tiempo de ejecución y solicitudes de contexto largo.

¿Cómo gestiona Hy4 Preview un contexto de 1M de tokens?

Hy4 Preview soporta una longitud de contexto declarada de un millón de tokens. Su arquitectura utiliza atención dispersa y reutilización de índices entre capas para reducir parte del cálculo asociado al procesamiento de secuencias muy largas.

Un límite de un millón de tokens es un techo de capacidad, no una garantía de recuperación perfecta en todo el prompt. La calidad de la recuperación sigue dependiendo de la estructura del documento, el diseño del prompt, la densidad de información y el lugar en el que aparezca la evidencia relevante.

Gated DSA e IndexCache

Hy4 Preview utiliza Gated DeepSeek Sparse Attention, o Gated DSA. En lugar de realizar una atención completa en cada par de tokens en cada capa, el indexador disperso selecciona hasta 2.048 tokens relevantes para cada posición de consulta.

IndexCache reduce la sobrecarga adicional al permitir que capas seleccionadas reutilicen los índices de tokens dispersos calculados por capas cercanas. La investigación subyacente de IndexCache informa de que, en un modelo DSA de 30B independiente, eliminar el 75 % de los cálculos del indexador produjo una aceleración de prellenado de hasta 1,82 veces y una aceleración de decodificación de 1,48 veces con una pérdida de calidad limitada.

Estas cifras de rendimiento provienen de la configuración de investigación de IndexCache y no deben tratarse como una latencia garantizada de la API de Hy4 Preview.

iHC y MTP nativo

El modelo también utiliza hiperconexiones de identidad (identity Hyper-Connections), o iHC, con cuatro flujos residuales. Según la descripción de la arquitectura de Tencent, este diseño amplía las vías por las que la información puede moverse entre capas.

Su capa nativa de predicción multitoken (Multi-Token Prediction, MTP) admite la decodificación especulativa. La capa MTP propone múltiples tokens futuros, que el modelo principal puede verificar conjuntamente. Esto puede reducir la latencia interactiva cuando el motor de inferencia, el hardware y la carga de trabajo están configurados para beneficiarse de la decodificación especulativa.

MTP no mejora automáticamente cada despliegue. Bajo cargas de trabajo con un alto procesamiento por lotes, el coste de generar y verificar tokens de borrador puede compensar el beneficio de latencia.

¿Qué puede hacer Hy4 Preview?

Hy4 Preview se adapta mejor a tareas que combinan entradas largas, razonamiento de múltiples pasos, generación de código o uso de herramientas. Los modelos más pequeños pueden seguir siendo más económicos para tareas sencillas de clasificación, extracción y solicitudes habituales de Chat.

Programación y flujos de trabajo de agentes

El modelo está diseñado para tareas de software de largo recorrido tales como:

• Explorar grandes repositorios antes de proponer un cambio

• Rastrear comportamientos a través de archivos fuente, pruebas y documentación

• Planificar e implementar refactorizaciones de múltiples archivos

• Escribir y reparar pruebas

• Depurar fallos mediante terminales o herramientas de desarrollo

• Ejecutar agentes iterativos de investigación y programación

Para un uso fiable de los agentes, las aplicaciones deben seguir definiendo los permisos de las herramientas, los tiempos de espera de ejecución, los límites de reintento y los puntos de aprobación humana. Una puntuación alta en las pruebas de rendimiento de programación no hace que el acceso sin restricciones a la consola o el despliegue automático en producción sean seguros.

Tareas de documentación e investigación

La gran ventana de contexto también admite flujos de trabajo con gran volumen de documentos, como la comparación de contratos, la revisión de literatura técnica, el análisis financiero y la síntesis de múltiples informes.

Los desarrolladores deben estructurar las entradas largas en lugar de colocar una colección de documentos desorganizada en un solo prompt. Las prácticas útiles incluyen añadir identificadores de documentos, pedir al modelo que cite las secciones de las fuentes, separar la extracción de la síntesis y validar las conclusiones importantes con el material original.

Un contexto largo puede reducir el número de pasos de recuperación, pero no elimina la necesidad de sistemas de recuperación. RAG sigue siendo útil cuando las colecciones cambian con frecuencia, superan el límite de contexto, requieren control de acceso o necesitan una selección de fuentes rastreable.

¿Cómo rinde Hy4 Preview?

Tencent informa de mejoras sustanciales con respecto a Hy3 en las evaluaciones de programación, agentes, búsqueda, oficina y razonamiento. Los resultados son prometedores, aunque la mayoría de las cifras disponibles actualmente son notificadas por el proveedor en lugar de mediciones independientes.

Pruebas de rendimiento de programación y agentes

Algunos resultados seleccionados del apéndice de pruebas de rendimiento de Tencent incluyen:

Tencent evaluó los modelos en sus configuraciones de razonamiento más altas disponibles y utilizó arneses de agentes específicos para cada prueba de rendimiento. Algunos resultados comparativos se reprodujeron internamente en lugar de tomarse de evaluaciones públicas idénticas.

La conclusión práctica es que vale la pena probar Hy4 Preview para la programación a escala de repositorio y los flujos de trabajo basados en herramientas. La selección para producción debe seguir utilizando un conjunto de evaluación privado que refleje los lenguajes, repositorios, definiciones de herramientas, objetivos de latencia y criterios de aceptación del equipo.

Limitaciones conocidas de la Preview

Tencent identifica dos problemas de comportamiento actuales: el modelo puede razonar más tiempo de lo necesario en tareas complejas y puede verificar en exceso su propio Output.

Estas tendencias pueden aumentar el tiempo de respuesta, la longitud de la salida y el coste de inferencia. También pueden provocar que un agente repita las comprobaciones sin mejorar sustancialmente el resultado.

Los equipos pueden gestionar este comportamiento de las siguientes maneras:

• Estableciendo condiciones de parada explícitas

• Limitando las llamadas a herramientas y los turnos de los agentes

• Utilizando modos de razonamiento más cortos para tareas directas

• Definiendo esquemas de salida

• Midiendo el coste por resultado aceptado en lugar del coste por solicitud

• Requiriendo aprobación antes de realizar acciones irreversibles

El estado de vista previa del modelo también significa que es posible que deban revisarse los prompts y los umbrales de evaluación a medida que se lancen checkpoints posteriores.

Cómo acceder y utilizar Hy4 Preview

Tencent proporciona recetas de despliegue oficiales para vLLM y SGLang. Debido a que el checkpoint completo es excepcionalmente grande, el autohospedaje requiere una cantidad sustancial de memoria de aceleración e infraestructura de inferencia distribuida. El checkpoint FP8 reduce la carga de almacenamiento y memoria, pero sigue siendo un despliegue a gran escala.

La receta oficial de vLLM Hy4 Preview configura la atención dispersa, la decodificación especulativa MTP, el análisis de llamadas a herramientas y un endpoint local compatible con OpenAI.

Ejemplo de API de Python

Después de desplegar Hy4 Preview a través de vLLM o SGLang, se puede llamar al servidor local con el cliente OpenAI de Python:

import os

from openai import APIError, OpenAI

client = OpenAI(
    base_url=os.getenv("HY4_BASE_URL", "http://127.0.0.1:8000/v1"),
    api_key=os.getenv("HY4_API_KEY", "EMPTY"),
    timeout=120.0,
)

try:
    response = client.chat.completions.create(
        model=os.getenv("HY4_MODEL", "hy4-preview"),
        messages=[
            {
                "role": "system",
                "content": (
                    "You are a software engineering assistant. "
                    "Explain assumptions and identify files that require review."
                ),
            },
            {
                "role": "user",
                "content": (
                    "Review this repository change plan and identify missing "
                    "tests, migration risks, and rollback steps."
                ),
            },
        ],
        temperature=0.9,
        top_p=1.0,
    )

    print(response.choices[0].message.content)

except APIError as error:
    print(f"Hy4 Preview API request failed: {error}")

import os

from openai import APIError, OpenAI

client = OpenAI(
    base_url=os.getenv("HY4_BASE_URL", "http://127.0.0.1:8000/v1"),
    api_key=os.getenv("HY4_API_KEY", "EMPTY"),
    timeout=120.0,
)

try:
    response = client.chat.completions.create(
        model=os.getenv("HY4_MODEL", "hy4-preview"),
        messages=[
            {
                "role": "system",
                "content": (
                    "You are a software engineering assistant. "
                    "Explain assumptions and identify files that require review."
                ),
            },
            {
                "role": "user",
                "content": (
                    "Review this repository change plan and identify missing "
                    "tests, migration risks, and rollback steps."
                ),
            },
        ],
        temperature=0.9,
        top_p=1.0,
    )

    print(response.choices[0].message.content)

except APIError as error:
    print(f"Hy4 Preview API request failed: {error}")

import os

from openai import APIError, OpenAI

client = OpenAI(
    base_url=os.getenv("HY4_BASE_URL", "http://127.0.0.1:8000/v1"),
    api_key=os.getenv("HY4_API_KEY", "EMPTY"),
    timeout=120.0,
)

try:
    response = client.chat.completions.create(
        model=os.getenv("HY4_MODEL", "hy4-preview"),
        messages=[
            {
                "role": "system",
                "content": (
                    "You are a software engineering assistant. "
                    "Explain assumptions and identify files that require review."
                ),
            },
            {
                "role": "user",
                "content": (
                    "Review this repository change plan and identify missing "
                    "tests, migration risks, and rollback steps."
                ),
            },
        ],
        temperature=0.9,
        top_p=1.0,
    )

    print(response.choices[0].message.content)

except APIError as error:
    print(f"Hy4 Preview API request failed: {error}")

Tencent recomienda temperature=0.9 y top_p=1.0 para el checkpoint lanzado. El ejemplo utiliza el nombre del modelo autohospedado y el endpoint local documentados en las instrucciones de despliegue de Tencent. Un servicio alojado puede utilizar un endpoint, un ID de modelo, un límite de contexto o un conjunto de parámetros diferentes.

Precios de Hy4 Preview y cálculo de costes

La estructura de precios de Hy4 Preview no tiene una tarifa única universal. Los costes dependen de si el modelo se autohospeda o se accede a él a través de una API gestionada.

Para una API alojada, calcule el coste de la solicitud de la siguiente manera:

Coste de la solicitud =
(tokens de entrada no almacenados en caché ÷ 1.000.000 × tarifa de entrada)
+ (tokens de entrada almacenados en caché ÷ 1.000.000 × tarifa de entrada en caché)
+ (tokens de salida ÷ 1.000.000 × tarifa de salida)

Coste de la solicitud =
(tokens de entrada no almacenados en caché ÷ 1.000.000 × tarifa de entrada)
+ (tokens de entrada almacenados en caché ÷ 1.000.000 × tarifa de entrada en caché)
+ (tokens de salida ÷ 1.000.000 × tarifa de salida)

Coste de la solicitud =
(tokens de entrada no almacenados en caché ÷ 1.000.000 × tarifa de entrada)
+ (tokens de entrada almacenados en caché ÷ 1.000.000 × tarifa de entrada en caché)
+ (tokens de salida ÷ 1.000.000 × tarifa de salida)

Por ejemplo, una solicitud que contenga 700.000 tokens de entrada no almacenados en caché, 200.000 tokens almacenados en caché y 50.000 tokens de salida costaría:

0.70 × tarifa de entrada
+ 0.20 × tarifa de entrada en caché
+ 0.05 × tarifa de salida

0.70 × tarifa de entrada
+ 0.20 × tarifa de entrada en caché
+ 0.05 × tarifa de salida

0.70 × tarifa de entrada
+ 0.20 × tarifa de entrada en caché
+ 0.05 × tarifa de salida

Utilice la tarifa de entrada en caché únicamente cuando el proveedor seleccionado la admita explícitamente para Hy4 Preview.

El autohospedaje requiere un cálculo diferente. Los costes relevantes incluyen las horas de GPU, la utilización de clústeres, el tiempo de carga del modelo, el uso de memoria de contexto largo, la red, la monitorización y el soporte de ingeniería. La licencia Apache 2.0 elimina la tarifa de licencia de los pesos del modelo, pero no hace que la inferencia sea gratuita.

Para cualquiera de los dos modelos de despliegue, compare el coste por tarea aceptada. Una solicitud más económica puede resultar más cara si las llamadas repetidas a herramientas, el razonamiento excesivo o las salidas fallidas requieren ejecuciones adicionales.

Preguntas comunes sobre el contexto de 1M, la programación, el despliegue y los costes de la API de Tencent Hy4 Preview

Q1. ¿Es Hy4 Preview de código abierto (Open Source)?

Sí. Tencent ha publicado los pesos de Hy4 Preview e Hy4 Preview FP8 bajo la Licencia Apache 2.0. Los desarrolladores deben revisar la licencia y los requisitos operativos antes de modificar, redistribuir o desplegar comercialmente el modelo.

Q2. ¿Admite Hy4 Preview la entrada de imágenes (Image Input)?

No. El checkpoint publicado de Hy4 Preview está documentado como un modelo de generación de texto, y sus ejemplos oficiales de despliegue utilizan mensajes de texto. La entrada de imágenes no se incluye como una modalidad compatible para este lanzamiento.

Q3. ¿Puede un contexto de 1M reemplazar la recuperación?

No. Una ventana de contexto de 1M de tokens puede reducir los pasos de recuperación para conjuntos de documentos limitados, pero RAG sigue siendo valioso para colecciones cambiantes, permisos de origen, citas, menores costes de prompts y conjuntos de datos que superen el contexto disponible.

Q4. ¿Qué es Hy4 Preview FP8?

Hy4 Preview FP8 es la versión de menor precisión de Tencent del modelo de instrucciones (instruct). Está diseñada para reducir la memoria de despliegue y mejorar la viabilidad de la inferencia en hardware compatible, conservando al mismo tiempo la misma arquitectura general del modelo y la capacidad de contexto de un millón de tokens.

Hy4 Preview es un candidato idóneo para la programación de contexto largo, la investigación y la evaluación de agentes. Sus pesos abiertos, su diseño de atención dispersa y sus recetas oficiales de servicio hacen posible la experimentación, mientras que su escala y el comportamiento en fase de vista previa requieren una planificación cuidadosa de la infraestructura, control de costes y pruebas específicas para cada tarea.