TC-STAR 2005 Evaluation Package - ASR Mandarin Chinese
View resource name in all available languages
Package d’évaluation TC-STAR 2005 - ASR chinois mandarin
ID:
ELRA-E0004
TC-STAR is a European integrated project focusing on Speech-to-Speech Translation (SST). To encourage significant breakthrough in all SST technologies, annual open competitive evaluations are organized. Automatic Speech Recognition (ASR), Spoken Language Translation (SLT) and Text-To-Speech (TTS) are evaluated independently and within an end-to-end system.
The first TC-STAR evaluation campaign took place in March 2005. Two core technologies were evaluated during the campaign: • Automatic Speech Recognition (ASR), • Spoken Language Translation (SLT).
Each evaluation package includes resources, protocols, scoring tools, results of the official campaign, etc., that were used or produced during the first evaluation campaign. The aim of these evaluation packages is to enable external players to evaluate their own system and compare their results with those obtained during the campaign itself.
The speech databases made within the TC-STAR project were validated by SPEX, in the Netherlands, to assess their compliance with the TC-STAR format and content specifications.
This package includes the material used for the TC-STAR 2005 Automatic Speech Recognition (ASR) first evaluation campaign for the Mandarin Chinese language. The same packages are available for both English (ELRA-E0002) and Spanish (ELRA-E0003) for ASR and for SLT in 3 directions, English-to-Spanish (ELRA-E0005), Spanish-to-English (ELRA-E0006), Chinese-to-English (ELRA-E0007).
To be able to chain the components, ASR and SLT evaluation tasks were designed to use common sets of raw data and conditions. Two evaluation tasks, common to ASR and SLT, were selected: EPPS (European Parliament Plenary Sessions) task and VOA (Voice of America) task. This package was used within the VOA task and consists of 2 data sets: - Development data set: consists of 3 hours of audio recordings from the broadcast news of Mandarin Voice of America between 1 and 3 December 1998 which corresponds more or less to 42,000 Chinese characters. - Test data set: consists of 3 hours of audio recordings from news broadcast between 14 and 22 December 1998 and corresponds to 44,000 Chinese characters.
View resource description in all available languages
TC-STAR est un projet intégré européen basé sur la traduction parole-parole (ou SST pour Speech-to-Speech Translation). Pour encourager de manière conséquente l’avancée dans toutes les technologies de la SST, des évaluations ouvertes à la concurrence sont organisées sur une base annuelle. Les technologies de la reconnaissance automatique de la parole (ou ASR pour « Automatic Speech Recognition »), de la traduction de la langue parlée (ou SLT pour « Spoken Language Translation ») et les technologies texte-parole (ou TTS pour « Text-to-Speech ») sont évaluées à la fois de façon indépendante et intégrée à un système « end-to-end » (de « bout en bout »).
La première campagne d’évaluation TC-STAR s’est déroulée en mars 2005. Deux technologies de base ont été évaluées lors de cette campagne: • la reconnaissance automatique de la parole (ASR), • la traduction de la langue parlée (SLT).
Chaque package d’évaluation regroupe des ressources, des protocoles, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la première campagne d’évaluation. Le but de ces packages d’évaluation est de permettre à des acteurs externes d’évaluer leur propre système et de comparer leurs résultats à ceux obtenus pendant la campagne.
Les bases de données orales produites dans le projet TC-STAR ont été validées par SPEX, Pays-Bas, selon le format et les spécifications de contenu TC-STAR.
Ce package comprend le matériel utilisé pour la première campagne d’évaluation TC-STAR 2005 Automatic Speech Recognition (ASR) pour l’espagnol. Des packages similaires sont également disponibles pour l’anglais (ELRA-E0002) et l’espagnol (ELRA-E0003) pour l’ASR, ainsi que pour la SLT dans 3 sens, anglais vers espagnol (ELRA-E0005), espagnol vers anglais (ELRA-E0006), chinois vers anglais (ELRA-E0007).
Pour permettre de regrouper les composants, les tâches d’évaluation ASR et SLT ont été conçues en utilisant des données brutes et des conditions communes. Deux tâches d’évaluation, communes à l’ASR et à la SLT, ont été choisies : la tâche EPPS (« European Parliament Plenary Sessions » – Sessions plénières du Parlement européen) et la tâche VOA (« Voice of America » - La voix de l’Amérique). Le présent package a été utilisé dans le cadre de la tâche VOA et comprend 2 ensembles de données : - L’ensemble de données de développement : il comprend 3 heures d’enregistrements audio d’actualités diffusées par « Voice of America » en mandarin entre le 1er et le 3 décembre 1998, ce qui correspond à environ 42 000 caractères chinois. - L’ensemble de données de test : il comprend 3 heures d’enregistrements d’actualités diffusées entre le 14 et le 22 décembre 1998 et correspond à 44 000 caractères chinois.
Home
1
