I am experimenting with GPT models like chat gpt , Transformer model, T5 and Github copilot for our work. These are undoubtedly some of the best models available to use.
For charting and visualization tools,for webpages i recommend using eCharts .Its free and easy. For the application side you can use Apache Superset or Power BI . Apache superset being open source can help you customize it to your use case.
We have also successfully used these model in large scale . We were successful in curating and fine-tuning on premise GPT for within the organisation uses. Also we have successfully used AI to predict various parameters with reasonable accuracy.
Saving Changes...
Mathew AYOADE ADEWALEProject Coordinator| Abinibi Care ConsultingKetu, Lagos, Nigeria, Nigeria
Though ChatGPT3.5 is commonly used, I do refer to Microsoft Copilot or Google Gemini from time to time.
Its imperative to note that though out there we have many AI tools now a days, however, not all of them are precisely addressing the queries of a particular field. Simple search on all above cited AI platforms provide varied output.
User need to have its own technical expertise exercised on the output generated from AI should it require to be done. Saving Changes...
Still searching what best suits. Saving Changes...
Daniela ZuppichinDirector de Proyectos, Agile Trainer| SiPro360 Project ConsultingCiudad Autonoma de Buenos Aires, Argentina
Trabajar con datos para la IA generativa involucra una variedad de herramientas y flujos de trabajo. Estas son algunas de las herramientas y recursos clave que relevé en consulta con colegas mas experimentados y que se consideran indispensables:
Procesamiento y limpieza de datos:
. Librerías de Python como Pandas, NumPy para la manipulación y preprocesamiento de datos
. Notebooks de Jupyter para un flujo de trabajo iterativo de limpieza y exploración de datos
. Herramientas de ETL como Apache Airflow para orquestar tuberías de datos
. Servicios de anotación de datos como Scale AI o Appen para etiquetar y enriquecer datos
Generación y aumento de datos sintéticos:
. Bibliotecas de Python como Synthenic e Interpolation para generar datos sintéticos
. Técnicas como TANDA para el aumento de datos de texto
. Herramientas de aumento de imágenes como Roboflow, Voxel51
Implementación y ajuste de modelos:
. Marcos de aprendizaje profundo como PyTorch, TensorFlow, Hugging Face
. Plataformas en la nube como SageMaker, Vertex AI, AzureML
. Herramientas de monitoreo como Weights & Biases, TensorBoard
. Bibliotecas de explicabilidad como SHAP, gradientes integrados
Visualización y análisis de datos:
. Librerías de visualización como Matplotlib, Seaborn, Plotly
. Entornos de notebooks como Jupyter/Colab para exploración interactiva
. Herramientas de paneles como Tableau, Power BI, Dash
. Servicios en la nube como Amazon QuickSight, Google Data Studio
Algunos flujos de trabajo típicos incluyen:
. Extraer, limpiar y preprocesar los datos de entrenamiento utilizando Pandas, Spark, etc.
. Aumentar y diversificar los datos con técnicas sintéticas y de aumento de datos.
. Alojar los datos en un almacén de datos como S3, Datastore, Blob Storage
. Crear pipelines de entrenamiento en frameworks como PyTorch/TensorFlow
. Entrenar modelos en infraestructura en la nube como SageMaker
. Visualizar y analizar los datos y salidas del modelo con Matplotlib, Dash, etc.
. Supervisar el rendimiento y explicabilidad con Weights & Biases, SHAP, etc.
. Implementar los modelos en producción y monitorear continuamente
La clave es tener un conjunto robusto de herramientas que permiten el preprocesamiento de datos, la generación de datos sintéticos, el entrenamiento e implementación escalables de modelos, así como la exploración, visualización y explicabilidad para lograr sistemas de IA generativa confiables y de alto rendimiento.
Saludos desde el fin del mundo!
DZ.-
CopiarRever
...
1 reply by Dagoberto Segura
Apr 14, 2024 8:08 PM
Dagoberto Segura
...
Hola Daniela Muchas gracias por compartir esa excelente información Saludos cordiales
Tools like Anthropic's InstructGPT, OpenAI's ChatGPT, and Google's Wordcraft are invaluable for prompt engineering and augmented data creation tasks. These tools leverage large language models to generate diverse and contextual prompts, augment existing data, and explore new data modalities. Saving Changes...
PMI Team Member
Community Champion
