Aula 24 de Métodos Computacionais em Economia (2019) - Aprendizagem de Máquinas: Modelos Lineares

Essa é a segunda aula de Aprendizagem de Máquinas do nosso curso que versa sobre modelos lineares. Esses são os slides usados em sala.

Códigos usados em sala de aula

Decomposição Viés-Variância

Referências

Pattern Recognition and Machine Learning - Christopher Bishop [Seções 3.1, 3.2 e 3.6]

Modern multivariate statistical techniques - Alan Julian Izenman [Capítulo 5]

The elements of statistical learning - Hastie, Tibshirani e Friedman [Capítulo 3]

Neural networks - Haykin [Capítulo 7]



Referências Complementares para otimização numérica

Numerical methods in economics - Kenneth Rudd

Numerical methods in engineering with python - Jaan Kiusalaas

Bases de dados usadas para responder os exercícios

PRorum: Sites com bases de dados interessantes

Soluções de Exercícios


Rede Neural de Bases radiais [Questão 1]

PCR - Principal Components Regression [Questão 2(a)

PLS - Implementação do Partial Least Squares [Questão 2(b)

PLS - Implementação do Ridge [Questão 2(c)

Forwards Stepwise em python [Questão 3(a)

Implementação do Lasso [Questão 3(b)

Implementação do LARS [Questão 3(c)

Forwards Stagewise em python [Questão 3(d)

Aula 23 de Métodos Computacionais em Economia (2019) - Introdução a Aprendizagem de Máquinas

Na nossa vigésima terceira aula de métodos computacionais fizemos uma introdução a aprendizagem de máquinas. Esses são os slides usados em sala.

Soluções de Exercícios

Data: SF salaries

Data: Titanic - ML for Disaster

Data: Forest Cover Type Prediction

Data: Brazilian Cities

Data: Bike Sharing Demand

Data:
Otto Group Product

Data:
Prudentials 1

Data:
Prudentials 2
.
Referências

The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World - Pedro Domingos

Pattern Recognition and Machine Learning - Christopher Bishop

Deep learning - Ian Goodfellow, Yoshua Bengio and Aaron Courville

The elements of statistical learning - Hastie, Tibshirani e Friedman

Modern multivariate statistical techniques - Alan Julian Izenman

The discipline of machine learning - T. M. Mitchel

A few useful things to know about machine learning - P. Domingos

Learning deep architectures for AI - Y. Bengio

In defence of forensic social science - Amir Goldberg [Big data and Society, 2015]

Sociology in the era of big data: the ascent of forensic social science - D. A. McFarland e
K. Lewis [American Sociology, 2015]

Economic reason and artificial intelligence - D. C. Parkes and M. P. Wellman [Sience 349,
p.267, 2015]

Big Data: New Tricks for Econometrics - H. R. Varian

The Impact of Machine Learning on Economics - Susan Athey

The State of Applied Econometrics: Causality and Policy Evaluation
Susan Athey e Guido W. Imbens.

Beyond Prediction: Using Big Data for Policy Problems -
Susan Athey

High-Dimensional Methods and Inference on Treatment and Structural Effects in Economics - Victor Chernozhukov, A. Belloni and C. Hansen

Prediction Policy Problems -
Jon Kleinberg, Jens Ludwig, Sendhil Mullainathan, and Ziad Obermeyer

Aula 22 de Métodos Computacionais em Economia (2019) - Interlúdio 3: Modelos Baseados em Agentes

Na nossa vigésima segunda aula de métodos computacionais introduzimos modelos baseados em agentes. Esses são os slides usados em sala.

Abaixo temos os exemplos apresentados em sala de aula:

Jogo da Minoria

Modelo de Simulação Bancária


Referências

Arthur, W. B. Inductive reasoning and bounded rationality. American Economic Review, v. 84, n. 2, p. 406--411, 1994.

Barroso, R. V. et al., Interbank network and regulation policies: an analysis through agent-based simulations with adaptive learning, published in the Journal Of Network Theory In Finance, v. 2, n. 4, p. 53–86, 2016. [A versão preliminar está aqui: https://mpra.ub.uni-muenchen.de/73308/]

Challet, D. and Zhang, Y. C. Emergence of cooperation and organization on an evolutionary game. Physica A 246, p. 407--418, 1997

Agent-Based and Individual-Based Modeling: A Practical Introduction
by Steven F. Railsback and Volker Grimm

An Introduction to Agent-Based Modeling: Modeling Natural, Social, and Engineered Complex Systems with NetLogo -- Wilensky, Uri, Rand, William (2015)

Complex Adaptive Systems: An Introduction to Computational Models of Social Life -- John H. Miller and Scott Page


Agent-Based Modeling: The Santa Fe Institute Artificial Stock Market Model Revisited -- Norman Ehrentreich

Soluções de Exercícios

Questão 1 (a): Fire model
Questão 1 (b): Diffusion limited aggregation
Questão 1 (d): El Farol

Aula 21 de Métodos Computacionais em Economia (2019) - Interlúdio 2: Análise Numérica e Otimização

Essa aula não será formalmente discutida em sala de aula. De fato, precisaríamos de muitas aulas para fazer um apanhado das principais idéias. Usaremos esse espaço apenas para fazer alguns comentários e indicar possíveis referências que podem ser consultadas em tópicos específicos.

Na segunda parte do nosso curso sobre Machine Learning, alguns tópicos de Análise Numérica e Otimização Numérica serão mencionados e explicados informalmente quando aparecerem. Sem tentar ser exaustivo, entre eles estão:

1) Métodos que lidam com a solução de sistemas lineares. Particularmente a decomposição LU.
2) Métodos que lidam com a solução de sistemas não lineares. Particularmente o método de Newton.
3) Métodos que lidam com otimização numérica. Particularmente o método do gradiente e formas de restringir problemas de otimização.

Referências

Analysis of Numerical Methods - Eugene Isaacson and Herbert Bishop Keller

A First Look at Numerical Functional Analysis - W. W. Sawyer

Numerical methods in economics - Kenneth Rudd

Numerical methods in engineering with python - Jaan Kiusalaas

Aula 20 de Métodos Computacionais em Economia (2019) - Interlúdio 1: Métodos de Monte Carlo

Na nossa vigésima aula de métodos computacionais introduzimos técnicas de Monte Carlo. Esses são os slides usados em sala.

Abaixo temos os exemplos apresentados em sala de aula:

Relação entre as áreas do círculo e quadrado

Consistência do OLS

Album de figurinhas

Referências

Numerical methods in economics - Kenneth Judd [Capítulo 8]

Introdução aos métodos estatísticos para economia e finanças - Alexandre Carvalho, Daniel Cajueiro e Reinaldo Camargo.

Referências adicionais

Estatística sem Mistério

Soluções de Exercícios

Questão 1: Como são gerados os números aleatórios?

Questão 3 (a): Monte Carlo

Questão 3 (c): Monte Carlo

Questão (d): Monte Carlo

Questão (e): Monte Carlo

Aula 19 de Métodos Computacionais em Economia (2019) - Compromisso entre eficiência temporal e espacial

Na nossa décima nona aula de métodos computacionais discutimos o compromisso entre eficiência temporal e espacial. Esses são os slides usados em sala.

Códigos usados em sala de aula

Ordenação por contagem

Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Seções 7.1 e 11.2]

Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 8]

Solução de exercícios

Questão 4 (a): Pigeonhole sort

Questão 4 (b): Bucket sort

Questão 4 (f): Flashsort

Aula 18 de Métodos Computacionais em Economia (2019) - Quick sort

Na nossa décima oitava aula de métodos computacionais discutimos o algoritmo conhecido como Quick Sort e como aleatorização pode ser usada para melhorar a complexidade do algoritmo. Esses são os slides usados em sala.


Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Seção 5.2]

Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 7]


Solução de exercícios

Cálculo da mediana com complexidade linear

Aula 17 de Métodos Computacionais em Economia (2019) - Melhoria Iterativa

Na nossa décima sétima aula de métodos computacionais discutimos a estratégia conhecida como Melhoria Iterativa. Esses são os slides usados em sala.


Códigos usados em sala de aula

Marriage Stable Problem

Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Capítulo 10]

Combinatorial optimization: Algorithms and Complexity - Christos H Papadimitriou e Kenneth Steiglitz [Capítulo 19]


Referências complementares

Two-Sided Matching: A Study in Game-Theoretic Modeling and Analysis - Alvin E. Roth e Marilda A. Oliveira Sotomayor

Stable Marriage and Its Relation to Other Combinatorial Problems: An Introduction to the Mathematical Analysis of Algorithms - Donald Ervin Knuth

Soluções

Questão 1: College Problem Admission


Questão 2: Stable roomates

Aula 16 de Métodos Computacionais em Economia (2019) - Estratégias Gananciosas

Na nossa décima sexta aula de métodos computacionais discutimos a estratégia conhecida como Gananciosa (ou Gulosa). Esses são os slides usados em sala.

Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Capítulo 9]

Combinatorial optimization: Algorithms and Complexity - Christos H Papadimitriou e Kenneth Steiglitz [Capítulo 12]

Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 16]

Soluções da série de exercícios

Algoritmo de Prim para encontrar a MST de um grafo


Algoritmo de Kruskal para encontrar a MST de um grafo

Aula 15 de Métodos Computacionais em Economia (2019) - Programação Dinâmica

Na nossa décima quinta aula de métodos computacionais discutimos a estratégia conhecida como Programação Dinâmica. Esses são os slides usados em sala.

Códigos usados em sala de aula

Fibonacci com Memoization ou Bottom-Up

Programação dinâmica para resolver o problema da mochila

Programação dinâmica para encontrar os menores caminhos

Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Capítulo 8]

Combinatorial optimization: Algorithms and Complexity - Christos H Papadimitriou e Kenneth Steiglitz [Capítulo 18]

Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 15]

Soluções da série de exercícios

Problema do troco [Questão 1]

Justificação de textos usando Programação Dinâmica [Questão 2]

Regressão linear segmentada [Questão 3]

Maximizar a soma do produto dos elementos de uma pilha [Questão 4]

Multiplicação de cadeias de matrizes [Questão 6]

Alocação ótima [Questão 7 (a)]

Busca binária [Questão 7 (e)]

Cobertura ótima [Questão 7 (f)]

Investimento ótimo [Questão 7 (n)]

Investimento ótimo [Questão 7 (o)]

Produção ótima [Questão 7 (y)]

Aula 14 de Métodos Computacionais em Economia (2019) - Branch and Bound

Na nossa décima quarta aula de métodos computacionais discutimos a estratégia conhecida como Branch e Bound. Esses são os slides usados em sala.


Códigos usados em sala de aula

Branch and bound para resolver o problema da mochila


Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Seção 12.2]

Combinatorial optimization: Algorithms and Complexity - Christos H Papadimitriou e Kenneth Steiglitz [Capítulo 18]

Referência complementar para estudar filas com prioridades

Data Structures and Algorithms in Python - Michael T. Goodrich, Roberto Tamassia, Michael H. Goldwasser [Capítulo 9]

Soluçoes dos exercícios

Branch and bound para resolver o problema de alocação

Branch and bound para resolver encontrar os caminhos mais curtos de um grafo (Djkstra)

Branch and bound para resolver o problema do caixeiro viajante