Tìm Lại Kiến Thức Trong Tháng 6
Định nghĩa Dim & Fact
Dim và Fact là 2 khái niệm rất quan trọng trong Datawarehourse. Trong lúc học môn DW & BI mình hơi lơ mơ bây h mình sẽ tổng hợp lại cho nhớ
Cấu trúc của DW
Lượng dữ liệu trong DW là rất lớn và không có những thao tác như sửa đổi hay tạo mới nên nó cần được tối ưu cho việc phân tích và báo cáo
Các thao tác với dữ liệu của khó dựa trên cơ sở mô hình dữ liệu đa chiều, được mô hình hóa vào đối tượng gọi là data cube.
Data cube là trung tâm phân tích, nó bao gồm nhiều d ...
Những thử thách gặp phải trong dự án Detect License Plate
Giới thiệu.
Bối cảnh.
Mình đang tham gia một Lab về thị giác máy tính (Computer Vision) tại C7, Đại học Bách Khoa Hà Nội. Bắt đầu gia nhập Lab vào kỳ 1 năm 3. Trong quá trình làm việc và học tập tại đây,mình đã có cơ hội tham gia vào nhiều buổi seminar thú vị và đóng góp vào các dự án nghiên cứu khác nhau. Những thách thức và khó khăn không ít lần đã khiến mình phải nỗ lực và dành rất nhiều thời gian để tìm ra giải pháp. Đặc biệt, trong bài viết này, mình muốn chia sẻ về những khó khăn mà mình ...
Học gì để trở thành một Data Engineer
Theory
DA is developmenter, bult, test and contain knowledge: database, process big system
DA process raw data contain error of people, machine or tool.
Tools, language and software
Foreign
SAP, Oracle, Cassandra, MySQL, Redis, Riak, PostgreSQL, MongoDB, neo4j, Hive, and Sqoop
A point the same with Data science is Scala, Java, C#
Have a lot of knowlegde about computer engineering, operate, sensitive(nhạy bén) in business
Domestic(Nội địa)
Data warehouse $ ETL(Extract, Transform, Load—Trích ...
Nghiên cứu khoa học như thế nào ở đại học
Cách đọc
Cách tiếp cận học tập và nghiên cứu toán học có thể khai mở một thế giới mới của khám phá và ứng dụng. Khi chúng ta bắt đầu đọc sách với câu hỏi “Toán học ở đâu và ứng dụng vào đâu”, chúng ta không chỉ mở rộng kiến thức mà còn nuôi dưỡng niềm đam mê tìm tòi. Điều này khuyến khích chúng ta đi sâu vào bản chất của các công thức toán học, khám phá không chỉ cách chúng hoạt động mà còn lý do tại sao chúng lại quan trọng.
Ví dụ, khi chúng ta hiểu rõ các ứng dụng thực tế của môn học, từ lý th ...
Mẹo hay cho máy tính của bạn
Mẹo hay cho my laptop:
Window + R :
gõ cmd
tiếp sau đó gõ netsh wlan show interfaces
⇒\Rightarrow⇒ Nó sẽ hiện đầy đủ về symterm wi-fi của laptop, tại dòng signal sẽ thông báo kết quả độ mạnh của cái wi-fi hiện tại laptop đang sử dụng.
gõ color a chữ thành màu xanh./ tương tự đối với các màu khác color + ‘c’
Word ẩn dữ liệu hoặc chữ trong file:
ctrl A
Ctrl Shift H
⇒\Rightarrow⇒ ẩn hết chữ mà lúc gửi đi người gửi cx nhìn thấy trắng, làm ngược lại để khôi phục.
Muốn xem cá bơi trên lapto ...
Terraform
Terraform CLI /
Command base
Đã dùng terraform thì không update bằng tay nếu không sẽ sửa lỗi rất là mệt, tác động vào resource đã deploy thì thôi 😊
Lệnh generate ssh key-pair tự động
ssh-keygen -t rsa -b 4096 -C “caotruongson16052003@gmail.com”
Khởi tạo dự án tf
terraform init
Lên kế hoạch xem tf làm gì với resource, thường dùng để check, lưu ý màu đỏ phải cần thận và phải đọc rõ note
Terraform plan
Apply triển khai lên aws account
Terraform apply
Các trường hợp dẫn tới thay đổ ...
Note câu hỏi phỏng vấn Data Engineer
5de5fbb7143a74a6c612097d3ea58edfc572c6c1556d6e1d64188133d41dac695674020005ea6f91b2d6c47a60ffb77ab29e5fe9e3bf15e748b14238fde4cf7ef7ff327b6ac5e6c3c50c03258b8b837ac26963b3f6c147c3c92e46ba666259e26d602cc9a51366a57e8cc4d5d79279a5d5609a3678ab2881d5a384ea885b5b9346a13e5980134d9b6029e9f9a409b9b784b1ea970495db98ce5920cf5bd2c7deb292cf0542bc3824df6e417a2a9995c2eee2e7347ba2cb0821a553997be671fe05c1a3fa7c563c226b1b50523d4ad03d9e46f6ece06721e7afe179352af016ac2a415300f3194715b0208f60a641a03ce34a929c246db0604 ...
Cách sử dụng nội dung chính trong bài đăng trên blog Hexo
https://Hexo.io/zh-cn/docs/front-matter
Front-matter
Front-matter là phần nằm ở đầu của mỗi tệp, được phân cách bằng ---, dùng để chỉ định các biến cho từng tệp cụ thể. Ví dụ:
1234---title: Hello Worlddate: 2013/7/13 20:46:25---
Dưới đây là các tham số được định nghĩa sẵn, bạn có thể sử dụng và tận dụng những giá trị này trong template của mình.
Tham số
Mô tả
Giá trị mặc định
layout
Bố cục
config.default_layout
title
Tiêu đề
Tên tệp của bài viết
date
Ngày tạo
Ngày tạo tệp
updated
Ng ...
Hãy nhớ tìm hiểu về các hành động trên Github
Lời nói đầu
Chuyện gì đang xảy ra vậy? Trong một thời gian dài, việc cập nhật ngày của Easy-QFNU của tôi không có tác dụng gì vì plug-in không phù hợp. Tôi chỉ chỉnh sửa ngày bằng tay và giải mã cứng. sau này tôi cảm thấy hiệu quả quá thấp nên đã viết một tập lệnh Python để triển khai các bản cập nhật hàng loạt, nhưng sau đó tôi cảm thấy nó chưa đủ linh hoạt nên tôi đã nghĩ đến việc sử dụng các hành động Github để tự động thực thi các tập lệnh cho các bản cập nhật mà tôi tình cờ thấy. kho lưu tr ...
MongoDB
MongoDB /
MongoDB là một cơ sở dữ liệu NoSQL hàng đầu, được thiết kế để lưu trữ dữ liệu theo định dạng BSON (một biến thể của JSON), giúp nó trở nên linh hoạt và dễ sử dụng. Được ra mắt vào năm 2009, MongoDB đã nhanh chóng trở thành một trong những lựa chọn phổ biến nhất cho các ứng dụng cần quản lý khối lượng lớn dữ liệu phi cấu trúc hoặc bán cấu trúc do khả năng mở rộng ngang và dọc hiệu quả.
Connect DB
Start_mongo
Tại terminal gõ:
start_mongo
Create a DB:
1db.createCollection("bigdata& ...












